Исследование EMA выявило трудности с внедрением ИИ-агентов

Как указано в исследовательском отчёте «Агенты без ограничений», подготовленном компанией Enterprise Management Associates (EMA) для Cequence Security, в 65% опрошенных предприятий агенты ИИ действовали за пределами своей компетенции, при этом 29% респондентов сообщило об измеримом влиянии этого явления на организацию. Документ составлен на основе ответов 202 топ-менеджеров в области технологий и безопасности.

Около 46% специалистов указало, что их компании уже масштабируют агентный ИИ в нескольких отделах и производственных процессах, а почти 79% одновременно использует генеративные сервисы и агентов. 35,6% участников исследования обнаружило потенциально опасные ситуации до того, как те успели причинить существенный ущерб бизнесу. В семи организациях заявили, что чаще всего узнают о действиях ИИ-моделей, выходящих за рамки компетенции, только когда об этом сообщает клиент или партнёр.

Возможность реагирования на такой сценарий оказалась слабой: только 32,2% респондентов уверено в своей способности обнаружить и локализовать действия агентов в течение нескольких минут с помощью автоматизированных механизмов, в то время как 54,5% потребовались часы и ручное вмешательство. Чуть более 46% сталкивается с трудностями, когда надо создать полный журнал аудита действий конкретного бота за предыдущие 30 дней.

Авторизация была ещё одним пробелом в существующих подходах многих предприятий. Только 34,2% опрошенных оценивало, имеет ли агент право действовать в момент выполнения задачи; другие же полагались на постоянные разрешения, периодические проверки или унаследованный доступ. В тексте документа этот пробел был увязан с избыточным предоставлением прав доступа.

Как отметил вице-президент EMA по исследованиям и автор отчёта Кристофер М. Стеффен, компании перешли от стадии экспериментов к стадии внедрения, тогда как оперативное управление отстаёт. В итоге существует разрыв «между тем, что написано, и тем, что соблюдается на практике».

Опрос также выявил риски после завершения пилотных проектов по внедрению агентного ИИ. Около 30% программ было поставлено на паузу (на неопределённый срок) или официально закрыто — при этом в 48,5% случаев приостановки опасения по поводу рисков безопасности являлись основным фактором.

В отчёте содержатся рекомендации оценивать авторизацию ботов во время выполнения задач, создавать автоматизированные системы обнаружения и локализации до расширения развёртывания и рассматривать вывод агентов из эксплуатации как дисциплину безопасности, требующую отзыва учётных данных и очистки разрешений.

Усам Оздемиров