Пять базовых мер для обеспечения кибербезопасности саморазвивающихся ИИ-агентов

Эволюция AI-агентов — глобальный тренд. В ближайшем будущем этот процесс будет оказывать существенное влияние на кибербезопасность всех организаций, использующих в своей работе высокотехнологичные цифровые решения

Эксперты Сбера на конференции OFFZONE 2026 представили результаты собственного исследования безопасности саморазвивающихся агентов. Исследование базируется на обновленной версии Модели угроз кибербезопасности AI Сбера.

Исследование показало, что безопасность используемой AI-модели не всегда означает безопасность самих AI-агентов. Существуют угрозы, которые необходимо устранять на уровне агентных систем. Те государственные и частные организации, которые не будут уделять должное внимание этому вопросу, в ближайшем будущем рискуют столкнуться с проблемами в сфере кибербезопасности.

По словам представителя Сбера, самоэволюция или саморазвитие подразумевает способность агента самостоятельно обновлять память, навыки и код, используя собственные инструменты для выполнения поставленной цели. Главное — отделить полезное изменение от неконтролируемого и потенциально вредного. Таким образом, агенты становятся более функциональными, а за людьми остаются контроль и ответственность. Именно поэтому ключевое внимание необходимо уделять вопросам кибербезопасности.

Для минимизации угроз неконтролируемого и потенциально вредного саморазвития эксперты Сбера предложили пять базовых мер кибербезопасности:

1. Строгая изоляция агентов. Реализация локальных сервисов памяти, собственных и делегированных токенов доступа и отдельных сред исполнения для каждого агента и его пользователя.
2. Разделение контуров разработки и эксплуатации. Самоэволюция полностью отключена в эксплуатационной среде, поскольку в ней возможен доступ к чувствительным данным. В контуре разработки процесс самоэволюции возможен, но при этом доступ к данным разрешен исключительно на чтение, а доступ к сети отключен. Вывод решения в эксплуатацию происходит со стандартными проверками кибербезопасности.
3. Независимые системы безопасности. Механизмы защиты вынесены за контур исполняемого кода агента. Централизованная система обеспечивает сбор и обработку телеметрии и метрик, ограничители (гардрейлы) блокируют аномалии (промпт-атаки, утечки, токсичность и пр.) в реальном времени, далее следует офлайн-анализ и, при необходимости, принятие решения о допустимости действий агента.
4. Корпоративный реестр навыков. Все инструменты, которыми пользуется агент, проходят обязательную статическую и динамическую проверку перед попаданием в реестр. Дополнительно рекомендуется анализировать опасные комбинации инструментов на предмет избыточных совокупных возможностей.
5. Использование песочницы для запуска кода. Любой код, генерируемый AI-агентом, запускается в изолированной среде. Сессия имеет ограниченное время жизни, собственные временные токены доступа, запрет на доступ к сети и строгие лимиты на использование процессора, памяти и файловой системы.

Исследование базируется на обновленной версии Модели угроз кибербезопасности AI Сбера, которая систематизирует 37 угроз и 51 способ их реализации, включая риски, связанные с GenAI, AI-агентами и мультиагентными системами. Модель опубликована на портале «Кибрарий» и свободно доступна всем российским государственным и частным организациям. Предоставление публичного доступа к ней — вклад Сбера в кибербезопасность всей страны.