Увлечение ИИ обернулось для компаний отравлением данных

Согласно новому исследованию компании IO, британские и американские ИБ-специалисты всё больше обеспокоены расширением сферы атак на основе искусственного интеллекта, в частности, несанкционированным использованием инструментов ИИ и попытками искажения данных для обучения нейросетей.

Специалист по безопасности и соблюдению требований опросил 3000 руководителей ИТ-служб по обе стороны Атлантики для составления своего третьего ежегодного отчёта о состоянии ИБ. Выяснилось, что 26% компаний пострадало от атак с «отравлением» данных (data poisoning), в ходе которых злоумышленники пытались вмешаться в данные для обучения модели, чтобы изменить её поведение.

Подобные акции могут быть направлены на саботаж организаций, прибегающих к помощи LLM, или на более целенаправленную поддержку хакеров, например, на сбой в работе систем обнаружения вредоносных программ. До сих пор считалось, что атаки с искажением носят скорее теоретический, чем массовый характер.

Помимо этого, отчёт IO гласит: 37% предприятий сталкивается с тем, что сотрудники используют инструменты генеративного ИИ (GenAI) без разрешения. Подобный паттерн может создавать серьёзные риски, связанные с утечкой данных и нарушением нормативных требований, а также потенциальные уязвимости, если применяемое решение небезопасно.

Респонденты продемонстрировали противоречивое отношение к ИИ. С одной стороны, они назвали основными ИБ-угрозами в следующем году различные виды атак с использованием нейросетей. В то же время айтишники, похоже, с оптимизмом смотрят в будущее — подавляющее большинство заявило, что чувствует себя «готовым» к защите. 75% сообщило, что внедряет приемлемые политики использования ИИ, которые должны как минимум помочь снизить риск несанкционированного использования таких инструментов.

Гендиректор IO Крис Ньютон-Смит назвал ИИ палкой о двух концах: «Хотя он обещает огромные перспективы, риски растут так же быстро, как и сама технология. Слишком много организаций поспешило внедриться в него и теперь расплачивается за это. Например, атаки с целью отравления данных не только подрывают технические системы, но и ставят под угрозу целостность сервисов, которыми мы пользуемся. Добавьте к этому теневой ИИ, и станет ясно, что нам необходимо более эффективное управление для защиты как бизнеса, так и общественности», — пояснил он.

Усам Оздемиров