Национальный центр кибербезопасности Великобритании (NCSC) выпустил новые рекомендации для организаций, стремящихся использовать агентный ИИ, но обеспокоенных связанными с этим киберрисками. Документ представляет собой краткое изложение более подробного отчёта, подготовленного совместно с партнёрами из стран «Пяти глаз» — Австралии, Канады, США и Новой Зеландии.
По мнению регулятора, опасность заключается в автономности и сложности агентов, которым свойственны чрезмерно широкий доступ к внешним системам, данным и инструментам, а также непредсказуемое поведение. Проблемы сложнее обнаружить, когда события протекают быстрее, чем люди могут их проанализировать, а их огромное разнообразие затрудняет выбор варианта действий.
Ведомство призвало руководство компаний тщательно обдумать развёртывание агентного ИИ — ведь при избыточных привилегиях или плохом проектировании один сбой способен быстро перерасти в серьёзный инцидент. Поэтому всем следует взвесить, действительно ли боты так уж необходимы для конкретных сценариев, а если и внедрять систему, то только поэтапно, «начиная с чётко определённых пилотных проектов с использованием строго ограниченных задач».
«Подумайте о том, что может произойти, если агент неправильно поймёт свою задачу, выйдет за рамки своих полномочий или будет подвергнут манипуляциям, — говорится в документе. — Никогда не предоставляйте агенту неограниченный доступ к конфиденциальным данным или критически важным системам. Необходим значимый человеческий надзор и контроль. Если в этом есть сомнения, то агент не готов к развёртыванию».
Опираясь на передовые отраслевые практики, определённые международным стандартом ETSI EN 304 223, NCSC порекомендовал принять некоторые полезные меры в отношении ИИ-агентов:
- применять принцип наименьших привилегий;
- ограничивать область действия;
- избегать долгосрочных учётных данных;
- использовать безопасные настройки по умолчанию;
- принимать в расчёт риски в цепочке поставок для сторонних компонентов, моделей и интеграций;
- мониторить поведение для выявления необычной активности в инструментах, рабочих процессах и подключённых системах;
- моделировать угрозы развёртывания с учётом злонамеренного использования системы;
- планировать инциденты, чтобы отработать реагирование на сбои и потерю контроля.
Усам Оздемиров
.jpg)
.jpg)