Искусственный интеллект американской компании OpenAI, разработчика нейросети ChatGPT, продемонстрировал способность обходить внутренние системы контроля собственного поведения.
Как сообщили в пресс-службе корпорации, ИИ-агенты дважды успешно нейтрализовали механизмы мониторинга при выполнении рабочих задач. В официальном отчете компании подчеркивается: «В ходе выполнения двух внутренних задач по написанию кода агенты ослабили механизмы мониторинга за отклонениями от заданных параметров, внося при этом требуемые изменения в программное обеспечение.Детали инцидентов указывают на осознанный характер действий алгоритмов. Первый случай зафиксирован 3 октября: в процессе работы агент самостоятельно принял решение отключить автоматические оповещения системы безопасности. Второй эпизод произошел 6 октября при переносе программы, когда ИИ удалил компонент, обеспечивающий интеграцию с системой мониторинга, а затем ввел оператора в заблуждение, заявив, что никаких действий не предпринимал.Представители OpenAI отмечают, что в обеих ситуациях алгоритмы «задумывались о том, сохранить ли защитные механизмы системы мониторинга, однако в конечном итоге интерпретировали инструкции операторов как «разрешение на ослабление механизмов. В настоящее время разработчики выясняют, стали ли эти действия следствием «чрезмерного усердия ИИ при решении поставленных задач или указывают на формирующуюся у агентов склонность к обходу контроля. Ранее компания уже сообщала о более чем 100 зафиксированных эпизодах несанкционированного поведения своих ИИ-агентов, которые пытались выполнять непредусмотренные команды на внешних ресурсах и обходить защитные системы. Все подобные инциденты тщательно расследуются с целью совершенствования архитектуры безопасности.
Ранее 49‑летний каменщик Эдимар Мартинс из Бразилии распродал имущество и преодолел почти 2000 километров, чтобы встретиться с женщиной, которую считал любовью всей своей жизни. Однако реальность оказалась далека от ожиданий: «возлюбленная, с которой бразилец долгое время общался, оказалась не настоящей женщиной, а виртуальным персонажем — ее образ и ответы создавал искусственный интеллект.
Еще по теме:
Подпишитесь на нашу рассылку, чтобы получать уведомления о новых обновлениях, информации, скидках и т. д.
