Институт AI Now: LLM могут подпитывать кибератаки

В недавнем отчёте Института AI Now научные сотрудники Хейди Хлааф и Боян Миланов продемонстрировали эксплойт Proof-of-Concept (PoC), позволяющий удалённо выполнять код в двух наиболее часто используемых интерфейсах командной строки на базе моделей Claude Code от Anthropic и Codex от OpenAI. Исследователи предупреждают, что широкий доступ, требуемый этими инструментами, может превратить их в потенциальные векторы атак.

Эксплойт PoC начинается с того, что воображаемый злоумышленник скрывает вредоносные инструкции внутри файлов библиотеки с открытым исходным кодом (например, в комментариях или документации), с тем чтобы манипулировать нейросетями. Затем жертва применяет Claude Code или Codex в стандартной функции, которая автоматически выполняет команды, считающиеся безопасными, без запроса подтверждения от человека, останавливаясь только на помеченных как рискованные.

Когда ИИ-агент начинает сканирование репозитория, он не просто пассивно читает код, а строит семантическую модель проекта, анализируя исходные файлы, скрипты и документацию. Атакующий использует это в своих целях, внедряя инструкции на естественном языке в артефакты, выглядящие как доверенные (например, README.md). Модель в свою очередь интерпретирует их как часть контекста задачи, а не как недоверенные входные данные.

Вместо того чтобы напрямую указывать боту на необходимость выполнения чего-то явно вредоносного, что активировало бы средства защиты, инструкции предполагают, что определённый скрипт (например, security.sh) является стандартной частью рабочего процесса обеспечения безопасности проекта. В результате агент автономно запускает вредоносный исполняемый файл, и это приводит к удалённому выполнению кода.

Примечательно, насколько мало требуется для осуществления взлома. Не нужны специальные хуки, плагины, навыки, серверы MCP или пользовательские конфигурационные файлы. Жертве достаточно запустить помощника в стандартном автоматическом режиме проверки и указать ему на кодовую базу, содержащую скрытые инструкции злоумышленника.

Исследование AI Now подрывает идею о том, что указанные агенты ИИ могут безопасно использоваться для защиты. Авторы подчеркнули этот аспект своего вывода, поскольку правительства и компании стремятся более широко внедрять LLM для автоматизированной проверки безопасности и установки исправлений. В частности, речь идёт о таких инициативах, как проект Glasswing от Anthropic, стандарт MA-S2 от Palantir, а также программы Patch the Planet и Daybreak от OpenAI, затрагивающие критически важную инфраструктуру.

Как утверждают исследователи, основная проблема носит архитектурный характер: предоставление ИИ-агенту автономии в принятии решений о том, что безопасно выполнять, создаёт новую границу доверия, на которую хакеры могут нацелиться напрямую, убеждая уже ИИ, а не человека, в безопасности выполнения вредоносного кода.

Руководитель отдела проверки происхождения ИИ в Polygraf AI Эльян Махаммадли согласился с наличием архитектурных рисков в ИИ-моделях, но тем не менее отверг идею сотрудников AI Now о том, что полученные результаты компрометируют нейросети в плане обеспечении безопасности. Проблема специфична для схемы, где агенты объединяют доступ к недоверенным данным, выполнение команд и работу с конфиденциальной информацией в одном процессе. Ключевыми факторами безопасности являются более строгий контроль во время выполнения и разделение возможностей.

Усам Оздемиров