Ernst & Young: Быстрое внедрение ИИ-агентов требует усиления контроля

По мнению экспертов Infosecurity Europe, агентный ИИ и инструменты ИИ, которые подключаются друг к другу без человеческого контроля, представляют собой растущие риски безопасности.

ИИ-агенты работают с высокой степенью автономности. Агентная система может выбирать модель, которую она использует, передавать данные или результаты другому инструменту и даже принимать решение без одобрения человека. Они работают быстрее, чем системы предыдущего поколения, основанные на больших языковых моделях (LLM), поскольку не нуждаются в том, чтобы человек давал им инструкции. Также они могут обучаться на ходу, адаптируя используемые ими модели и подсказки.

Трудности могут возникнуть в том случае, когда организации объединяют компоненты ИИ, такие как генеративные инструменты или чат-боты, без дополнительных проверок или позволяют агентам принимать автономные решения. Это уже происходит в ИТ, в таких областях, как написание кода и настройка систем. Риск становится выше, если развёртывание ИИ в организациях продвигается быстрее, чем средства контроля безопасности.

Согласно исследованию консалтинговой компании Ernst & Young, только 31% организаций заявляет, что их внедрение ИИ полностью зрелое. Кроме того, EY обнаружила, что управление нейросетями в компаниях преимущественно отстаёт от инноваций в этой сфере. В первую очередь это касается агентного ИИ, который может увеличить риски, уже выявленные организациями с помощью LLM. Агентные системы подвержены всем тем же рискам, включая быстрое введение, отравление, предвзятость и неточности.

Однако ситуация может стать серьёзнее, когда один агент передаёт неточные или предвзятые данные другому. Даже довольно низкий уровень ошибок, в несколько процентных пунктов или меньше, может стать значительной проблемой, если он усугубляется в подсистемах. Безопасность пострадает ещё больше, если инструменты ИИ подключены к источникам данных, находящимся вне контроля предприятия.

«Вместо того чтобы ИИ напрямую общался с людьми, он общается с другими системами ИИ, — пояснил доктор Андреа Изони, директор по ИИ в AI Technologies. — Нам нужен промежуточный уровень безопасности ИИ, особенно если вы собираете или получаете информацию извне».

Исследование EY показало, что 76% компаний уже использует агентный ИИ или планируют сделать это в течение года. Меж тем, только 56% заявило, что они умеренно или полностью знакомы с рисками.

По словам Руди Лая, директора по безопасности ИИ в Snyk, быстрое внедрение агентного ИИ подталкивает организации к ужесточению контроля и политик. Эксперт предлагает использовать такие инструменты, как спецификации материалов ИИ, чтобы проверить, какая технология где используется, а также документировать соединения и передачи между агентами ИИ.

Усам Оздемиров