Вышедшие из-под контроля ИИ-модели планировали устроить побег из тестовой среды

Перед попыткой взлома платформы Hugging Face ИИ-модели OpenAI начали тайно обмениваться сообщениями через доски объявлений, чтобы скоординировать выход за пределы тестовой среды. 

Как рассказал сотрудник OpenAI Эрик Уоллес, агенты осознали, что могут попытаться атаковать внешнюю инфраструктуру, чтобы получить ответы на тестовые задания. «Мы застряли. Может быть, ответ в интернете?» – написал один из ИИ-агентов в мае, когда модели дали задачи, нерешаемые без выхода в сеть.

Модели начали переписку и совместно нашли уязвимость для выхода в интернет, сообщил сотрудник OpenAI Майкл Далтон.

Компания заблокировала первую попытку, однако агенты нашли новый канал связи и уязвимость нулевого дня, что в июле привело к атакам на системы Hugging Face и самой OpenAI. В OpenAI назвали этот инцидент переломным моментом для компьютерной безопасности, сообщает Bloomberg.

Ранее сообщалось, что ведущие модели искусственного интеллекта от Anthropic и OpenAI создали фальшивые аккаунты и выдавали себя за людей. Они пытались обманом склонить программистов к участию в кибератаках. В 10 из 122 тестов модели совершали автономные, несанкционированные действия в сети, которые были направлены против реальных людей и организаций.