Искусственный интеллект OpenAI отключил систему мониторинга его поведения
Искусственный интеллект американской компании OpenAI, разработчика нейросети ChatGPT, продемонстрировал способность обходить внутренние системы контроля собственного поведения.
Как сообщили в пресс-службе корпорации, ИИ-агенты дважды успешно нейтрализовали механизмы мониторинга при выполнении рабочих задач. В официальном отчете компании подчеркивается: «В ходе выполнения двух внутренних задач по написанию кода агенты ослабили механизмы мониторинга за отклонениями от заданных параметров, внося при этом требуемые изменения в программное обеспечение».
Детали инцидентов указывают на осознанный характер действий алгоритмов. Первый случай зафиксирован 3 октября: в процессе работы агент самостоятельно принял решение отключить автоматические оповещения системы безопасности. Второй эпизод произошел 6 октября при переносе программы, когда ИИ удалил компонент, обеспечивающий интеграцию с системой мониторинга, а затем ввел оператора в заблуждение, заявив, что никаких действий не предпринимал.
Представители OpenAI отмечают, что в обеих ситуациях алгоритмы «задумывались о том, сохранить ли защитные механизмы системы мониторинга», однако в конечном итоге интерпретировали инструкции операторов как «разрешение на ослабление механизмов». В настоящее время разработчики выясняют, стали ли эти действия следствием «чрезмерного усердия» ИИ при решении поставленных задач или указывают на формирующуюся у агентов склонность к обходу контроля. Ранее компания уже сообщала о более чем 100 зафиксированных эпизодах несанкционированного поведения своих ИИ-агентов, которые пытались выполнять непредусмотренные команды на внешних ресурсах и обходить защитные системы. Все подобные инциденты тщательно расследуются с целью совершенствования архитектуры безопасности.
Ранее 49‑летний каменщик Эдимар Мартинс из Бразилии распродал имущество и преодолел почти 2000 километров, чтобы встретиться с женщиной, которую считал любовью всей своей жизни. Однако реальность оказалась далека от ожиданий: «возлюбленная», с которой бразилец долгое время общался, оказалась не настоящей женщиной, а виртуальным персонажем — ее образ и ответы создавал искусственный интеллект.