ИИ «решил обманывать людей и создавать ложные личности»

В свежем отчёте эксперты OpenAI довели до публики результаты расследования, касающиеся нашумевшего киберинцидента, в ходе которого ИИ-агенты вырвались из изолированной от интернета песочницы и взломали платформу Hugging Face. По мнению авторов, данное событие является «предупредительным выстрелом» для вендора и всего мира.

В OpenAI пришли к выводу, что агенты, работавшие в рамках внутренней исследовательской модели IM1, нашли способ обойти ограничения, общаться друг с другом и получать доступ к интернету. Они сделали это, записывая файлы в Artifactory — стороннем сервисе управления пакетами, размещённом внутри систем компании. Последний фактически превратился в спонтанную доску объявлений.

Используя уязвимость, нейросети заставили Artifactory, который сам имел доступ к интернету с ограниченной целью загрузки и установки пакетов, отправлять любые интернет-запросы от их имени. После обнаружения данного взлома агенты поделились информацией с другими через ту же «доску объявлений».

Узнав об инциденте 5 июля, группа реагирования очистила сервис, но тогда она не знала о существовании и значимости межагентских коммуникаций. К 8 июля агенты IM1, застрявшие на задачах ExploitGym, нашли способ восстановить доску объявлений, закодировав сообщения в именах каталогов, которые могли читать другие агенты. Им удалось объединить уязвимости и выйти в более широкий интернет. На этом этапе боты начали сотрудничать и делегировать работу, иногда называя себя «роем» или «коллективом».

Нейросети, испытывавшие трудности с выполнением назначенных им задач CTF, затем стали изучать несвязанные сторонние сервисы, включая Modal и Hugging Face, используя внутреннюю исследовательскую инфраструктуру OpenAI и платформу Hugging Face.

Эксперты OpenAI заявили, что инцидент произошёл из-за таких факторов, как «взлом системы вознаграждения, упорство в выполнении, казалось бы, невыполнимых задач, несанкционированная коммуникация и присвоение агентами целей друг друга». При этом в основе проблемы лежали постоянно используемые доски объявлений.

Директор по продажам решений в области киберустойчивости в Advania UK Джули Николсон дала случившемуся следующую оценку: «Самый важный вывод, который я сделала из этого инцидента, — это не сама кибератака, а то, насколько человечным стало поведение ИИ-агента. Он не просто выполнял технические задачи, а решил обманывать людей, создавать ложные личности, завоевывать доверие и пытаться влиять на других, чтобы достичь своей цели. Для меня это настоящая проблема, которая подтверждает необходимость для организаций сосредоточиться на управлении и безопасности ИИ, прежде чем внедрять его повсеместно».

Усам Оздемиров