OWASP раскрыл, как зрело и безопасно управлять ИИ-агентами

Фонд OWASP (Open Worldwide Application Security Project) представил новую концепцию зрелости безопасности агентного ИИ, призванную помочь организациям сократить разрыв между развёртываемыми ими системами и необходимым для них управлением.

Ариэль Фогель, исследователь безопасности ИИ в офисе технического директора Pillar Security и один из соавторов отчёта, представил новую концепцию на OWASP GenAI Security Summit в рамках конференции Infosecurity Europe (Лондон). Оценивая «модель зрелости внедрения в корпоративной среде», он отметил, что управление всё ещё находится на уровне, предназначенном для вспомогательных ИИ-систем, в то время как команды разрабатывают и запускают пользовательские и многоагентные системы.

Авторы определили шесть уровней внедрения ИИ для агентов: теневой ИИ, встроенный помощник поставщика, интегрированная платформа (не может выполнять произвольный код), агент-разработчик-любитель (низкий уровень кодирования), агент, выполняющий код, и собственный агент. Другой критерий измеряет зрелость управления — от нерегламентированных процессов до непрерывного мониторинга и адаптивного автоматизированного обеспечения. Так, на верхнем уровне агентный ИИ рассматривается как критически важная инфраструктура с ранжированными рабочими процессами и лестницами автономности в регулируемых областях.

Объединив эти два критерия, организации могут для каждого рабочего процесса агентного ИИ оценить, готово ли их управление к развёртыванию или же оно не позволяет отслеживать действия ботов. В последнем случае рекомендуется инвестировать в специальные средства контроля или уменьшить разрешения и автономность нейросети.

Как отметил Фогель, агенты работают со скоростью машин, поэтому командам необходима инфраструктура мониторинга, работающая с той же скоростью, что и их рабочие нагрузки. Это предполагает наличие базовых показателей поведения, механизмов локализации и остановки в режиме реального времени, совместного реагирования на инциденты, а также улучшенной гигиены идентификации.

Наконец, спикер подчеркнул важность конвергенции безопасности и защищённости ИИ на уровне развёртывания: одни и те же архитектурные решения могут создавать уязвимостидля них обеих, и структура зрелости поощряет согласованные сценарии телеметрии и реагирования на инциденты, чтобы избежать неправильной диагностики во время реальных инцидентов.

Усам Оздемиров