NCSC предложил путь к снижению рисков, связанных с агентным ИИ

Национальный центр кибербезопасности Великобритании (NCSC) выпустил новые рекомендации для организаций, стремящихся использовать агентный ИИ, но обеспокоенных связанными с этим киберрисками. Документ представляет собой краткое изложение более подробного отчёта, подготовленного совместно с партнёрами из стран «Пяти глаз» — Австралии, Канады, США и Новой Зеландии.

По мнению регулятора, опасность заключается в автономности и сложности агентов, которым свойственны чрезмерно широкий доступ к внешним системам, данным и инструментам, а также непредсказуемое поведение. Проблемы сложнее обнаружить, когда события протекают быстрее, чем люди могут их проанализировать, а их огромное разнообразие затрудняет выбор варианта действий.

Ведомство призвало руководство компаний тщательно обдумать развёртывание агентного ИИ — ведь при избыточных привилегиях или плохом проектировании один сбой способен быстро перерасти в серьёзный инцидент. Поэтому всем следует взвесить, действительно ли боты так уж необходимы для конкретных сценариев, а если и внедрять систему, то только поэтапно, «начиная с чётко определённых пилотных проектов с использованием строго ограниченных задач».

«Подумайте о том, что может произойти, если агент неправильно поймёт свою задачу, выйдет за рамки своих полномочий или будет подвергнут манипуляциям, — говорится в документе. — Никогда не предоставляйте агенту неограниченный доступ к конфиденциальным данным или критически важным системам. Необходим значимый человеческий надзор и контроль. Если в этом есть сомнения, то агент не готов к развёртыванию».

Опираясь на передовые отраслевые практики, определённые международным стандартом ETSI EN 304 223, NCSC порекомендовал принять некоторые полезные меры в отношении ИИ-агентов:

• применять принцип наименьших привилегий;
• ограничивать область действия;
• избегать долгосрочных учётных данных;
• использовать безопасные настройки по умолчанию;
• принимать в расчёт риски в цепочке поставок для сторонних компонентов, моделей и интеграций;
• мониторить поведение для выявления необычной активности в инструментах, рабочих процессах и подключённых системах;
• моделировать угрозы развёртывания с учётом злонамеренного использования системы;
• планировать инциденты, чтобы отработать реагирование на сбои и потерю контроля.

Усам Оздемиров