Мадрид обеспокоен появлением ИИ-агентов в арсенале хакеров

Глава испанского агентства по защите данных (AEPD) Франсиско Перес Бес сообщил о первом в стране случае утечки персональных данных, вызванной действиями автономного ИИ-агента. Используя «известную языковую модель», бот инициировал сканирование «стандартных файлов», что позволило ему обнаружить бреши и успешно пройти аутентификацию в системе.

Подробности инцидента пока скудны, так как ведомству ещё предстоит детально изучить уведомление о нарушении. Однако уже известно, что агент применялся «как инструмент для успешного объединения различных этапов атаки в единую цепочку».

Отсюда следует вывод об умышленных действиях хакеров, а не выходе ситуации из-под контроля (наподобие недавних кейсов Anthropic и OpenAI).

Как отметил технический директор компании CybaVerse Саймон Филлипс, подобный сценарий вызывает тревогу, поскольку подразумевает, что злоумышленнику удалось снять ограничения («джейлбрейк») или иным образом обойти защитные механизмы продвинутой модели.

«Будем надеяться, что вскоре мы узнаем больше, ведь организациям нужно понимать, с какими нейросетевыми угрозами они сталкиваются и во что именно следует инвестировать для обеспечения защиты, — добавил он. — Вокруг возможностей ИИ сейчас слишком много шумихи, и компаниям трудно оценить влияние этой технологии на их ИТ-инфраструктуру. Нам, как представителям отрасли, необходимо положить этому конец».

По мнению Франсиско Переса Беса, этот случай знаменует собой поворотный момент для страны: нейросети переходят из разряда теоретических рисков в реальную угрозу. Важно учитывать атаки ботов при анализе рисков обработки информации, а также скорректировать допустимые сроки реагирования на инциденты.

«Появление ИИ-агентов в арсенале атакующих должно побудить к немедленному пересмотру моделей безопасности и защиты данных», — резюмировали в AEPD. ИБ-специалистам, руководителям и ответственным лицам нужно готовиться к сценарию, при котором скорость атак возрастёт, однако, ключевое значение сохранят прежние фундаментальные принципы: понимание процессов обработки данных, ограничение доступа, устранение уязвимостей, контроль поставщиков и готовность к реагированию.

Усам Оздемиров