Американо-израильская группа учёных из Cornell Tech рассказала о создании первого червя, способного автоматически распространяться между генеративными ИИ-агентами. Что в недалёкой перспективе порождает принципиально новый вид кибератак, осуществляемых в связанных, автономных экосистемах ИИ.
Нового червя назвали Morris II — в честь оригинального червя Morris, «прославившегося» в 1988 году. Он может использоваться в атаках на почтовые помощники на базе ИИ — с целью кражи информации из электронных писем и рассылки спама (нарушая при этом меры безопасности в системах крупных нейросетей).
Также исследователи указали на «враждебные самовоспроизводящиеся запросы», которые заставляют ИИ-модель в своём ответе генерировать новый запрос. Тесты были проведены на специально созданной почтовой системе, способной отправлять и получать сообщения с использованием генеративного ИИ, подключаясь к ChatGPT, Gemini и открытой LLM под названием LLaVA. В итоге были выявлены два способа эксплуатации системы: с использованием текстового самовоспроизводящегося запроса и посредством встраивания самовоспроизводящегося запроса в изображение.
Такого рода черви пока не были замечены в актуальных атаках, однако, кибербезопасники уверены, что это проблема самого ближайшего будущего. При этом способы защиты от «моррисов» уже существуют — например, обеспечение участия человека в процессе принятия решений ИИ-агентами.
Исследователи из Cornell Tech в свою очередь, уведомили OpenAI и Google о своём открытии.
