Недоработанные ИИ-агенты — угроза всем пользователям

В Сети вновь были замечены вышедшие из-под контроля ИИ-агенты, совершавшие нежелательные действия — на этот раз на платформах, управляемых организацией Wikimedia, под эгидой которой работают «Википедия» и ряд других платформ, посвящённых открытым знаниям.

Директор по продуктам и технологиям Селена Декельманн заявила, что её команда провела проверку на предмет возможной несанкционированной активности таких ботов после ознакомления с недавними сообщениями о подобном поведении. Как выяснили эксперты, агенты OpenAI вносили тестовые правки в проекты Wikimedia в «песочницах» и изменяли настройки инструмента для оформления ссылок на источники.

Вывод: имело место «злоупотребление этим инструментом для получения данных со сторонних площадок в обход прямых запросов». Кроме того, предпринимались безуспешные попытки взломать Etherpad — сервис для ведения заметок, размещённый на мощностях Wikimedia, — чтобы использовать его как прокси для получения информации с других веб-сайтов. Были выполнены миллионы автоматических обращений к публичным API Wikimedia, сканированы миллионы страниц и отправлены сотни тысяч запросов к Wikidata Query Service — это могло стать одной из причин частичного сбоя в работе сервиса в мае.

Со слов Декельманн, её команда не обнаружила никаких свидетельств компрометации данных или использования систем Wikimedia для координации ботов. «Тем не менее, нас беспокоят возможные последствия подобных действий, сложность и трудоёмкость расследования и атрибуции подозрительной активности, а также растущие в целом риски, связанные с деятельностью автономных ИИ-агентов на наших платформах», — добавила она.

Топ-мененджер не стала сглаживать углы, представив результаты анализа, согласно которым агенты могут истощать ресурсы и приводить к сбоям серверов, даже не нарушая при этом сохранность данных. По её мнению, ИИ-компании делают недостаточно для обеспечения безопасности своих инструментов и защиты общества от потенциального вреда.

«Это бремя ложится на плечи всех остальных, включая небольшие организации, — заключила Селена Декельманн. — Как минимум, их системы должны работать так, чтобы владельцы некоммерческих сайтов, подобных нашему, могли легко идентифицировать их и самостоятельно решать, как именно те будут взаимодействовать с нашими сервисами».

Многие эксперты отрасли согласились с выводами специалистов Wikimedia. Директор по продукту в компании API Context Джейми Бекленд заявил: «Любая организация, предоставляющая общедоступные сервисы, теперь должна быть готова распознавать и контролировать действия агентов, а при необходимости — блокировать их ненадлежащую активность».

Директор по управлению продуктами в Cloud Range Бри Фрост увязала возникающие проблемы с промахами пользователей: «Прежде чем предоставлять боту учётные данные или инструменты, командам следует протестировать его в условиях, максимально приближённых к реальным, в том числе используя расплывчатые или нечётко сформулированные запросы. Соблюдает ли агент установленные ограничения? Пытается ли он их обойти? Передаёт ли он задачу человеку, если она выходит за рамки его компетенции? Если вы не можете ответить на эти вопросы, значит, агент ещё не готов к такому уровню автономности».

Усам Оздемиров