NCSC выступил за сохранение человеческого надзора за LLM

Национальный центр кибербезопасности Великобритании (NCSC) призвал организации, внедряющие автономные ИИ-агенты, использовать песочницу, человеческий надзор и строго контролируемый доступ для ограничения последствий случайных или злонамеренных действий.

Ведомство опубликовало временные практические рекомендации для компаний, создающих или эксплуатирующих нейросети, после нескольких инцидентов, связанных с несанкционированным поведением ботов. Сообщается, что официальные рекомендации всё ещё находятся в стадии разработки и в будущем станут достоянием общественности.

NCSC посоветовал сначала оценить, какой уровень автономности действительно необходим системе, и определить, что может пойти не так, прежде чем развёртывать её. Организациям следует смоделировать угрозы для подсказок агента, инструментов, сетей и доступных сервисов, а затем использовать результаты для определения того, какие дополнительные меры контроля необходимы.

Регулятор заявил, что разработчикам не следует полагаться исключительно на механизмы защиты, встроенные в базовую модель или структуру LLM, поскольку они могут оказаться недостаточными в средах с повышенным риском. Поэтому необходимо производить запуск агентов в надёжных песочницах и ограничивать их доступ к ресурсам соответственно выполняемой задаче.

В рекомендациях предлагается применять сетевые средства контроля, которые по умолчанию запрещают подключение, где это возможно, а также списки разрешённых соединений или прокси-серверы, учитывающие особенности служб, для необходимых подключений. NCSC также советует по возможности разделять выполнение агентов, вспомогательную инфраструктуру и службы вывода, поскольку те потенциально могут обнаруживать слабые места в конфигурации или уязвимости в своих механизмах контроля, создавая риск выхода за пределы песочницы.

Помимо этого, ведомство считает важным присваивать каждому агенту отдельный идентификатор и использовать, по возможности, краткосрочные учётные данные. Организациям следует учитывать ключи API, разрешения OAuth, ключи SSH и аутентифицированные сессии как часть потенциального «радиуса поражения» агента. Также важно сохранять человеческий контроль над деятельностью с высоким риском и вести мониторинг в реальном времени, чтобы сохранить возможность вмешательства при возникновении неожиданного поведения.

В NCSC уверены, что активность агентов должна регистрироваться и отслеживаться в рамках операций по обеспечению безопасности и реагирования на инциденты. Компании должны располагать возможностью немедленной остановки автономной деятельности, включая ограничение доступа к сети и связи с инфраструктурой ИИ-модели. При этом сами рекомендации будут развиваться вместе с технологиями: лаборатории обязаны регулярно переоценивать, остаётся ли предоставленная нейросетям автономия соразмерной их допустимому уровню риска.

Усам Оздемиров