Группа NVIDIA Open Secure AI Alliance, в которую входит более 120 техкомпаний, представила новую инициативу по обмену информацией об угрозах, связанных с агентным ИИ — проект Shared AI Findings Exchange (SAFE).
«В настоящее время не существует широко распространённой в сообществе структуры для конфиденциального обмена информацией о сбоях в работе ИИ, выявления повторяющихся проблем в управлении и преобразования этих уроков в многоразовые рекомендации по защите в рамках всей экосистемы. Предложение SAFE призвано помочь отрасли сотрудничать в продвижении этого обсуждения», — говорится в сообщении Linux Foundation.
Как отмечают члены альянса, идея заключается в том, чтобы сосредоточиться на совместном обучении, а не на поиске виновных или применении мер принуждения, соблюдая при этом существующие юридические, договорные и нормативные обязательства. Сторонники проекта опубликовали открытый запрос предложений, чтобы обеспечить возможность совместной разработки рекомендаций SAFE более широким сообществом.
Обсуждаемая инициатива должна выстраиваться на таких принципах, как конфиденциальность информации об инцидентах и потенциально опасных ситуациях, своевременное уведомление всех затронутых организаций, совместный анализ, подготовка структурированных обзоров, руководство по внедрению и проверке на основе фактических данных, независимое управление и так далее.
Там, где это уместно, SAFE может публиковать многократно используемые тесты, машиночитаемые политики, правила обнаружения, эталонные конфигурации и рекомендации по реагированию на ИБ-события, создавая общий каталог мер по защите, который развивается вместе с возникающими угрозами ИИ.
В сообщении NVIDIA, посвящённом анонсу проекта, делается акцент на предотвращении инцидентов, возникших по вине ботов. По словам старшего директора по безопасным ИИ-решениям и кибербезопасности в Suzu Labs Джейкоба Крелла, SAFE необходим, поскольку существующие механизмы раскрытия уязвимостей не подходят для агентов: «Когда модель обнаруживает и использует несанкционированный доступ, нет возможности выпустить патч или опубликовать идентификатор уязвимости. Сбои агентов часто носят поведенческий и недетерминированный характер — нет сигнатуры для сопоставления и нет решения для развёртывания».
Исследователь из Black Hills Information Security Джереми Фаулер со своей стороны добавил: «Поскольку искусственный интеллект всё больше интегрируется в повседневную жизнь, бизнес-операции и критическую инфраструктуру, разработка стандартизированных рекомендаций по безопасности уже сейчас является упреждающей инвестицией, а не ожиданием модернизации системы защиты после инцидентов».
Усам Оздемиров
.jpg)
.jpg)
.jpg)
(1).jpg)