ИИ подсовывает пользователю «отравленные» письма

Эксперты из Barracuda провели анализ кампании, сочетавшей методы социальной инженерии (например, использование вложений, защищённых паролем) со скрытыми в тексте послания промпт-инъекциями.

Были выявлены фишинговые письма, содержащие тайные инструкции для ИИ-ассистентов наряду с традиционными уловками, рассчитанными на получателя-человека. Таким образом, одно сообщение нацелено одновременно и на пользователя, и на бота, формирующего краткую сводку входящей почты.

Письмо с высоким рейтингом доверия (низкой вероятностью того, что это спам) поступало с домена госсектора, что позволяло ему успешно пройти проверку системами фильтрации. Оно включало файл, защищённый паролем — тактика, которая, по словам специалистов Barracuda, создаёт «слепую зону» для традиционных средств защиты имейлов. Открытие вложения приводило к краже учётных данных жертвы или заражению её устройства вредоносным ПО.

Если получатель не обращал внимания на новое входящее, скрытая промпт-инъекция могла заставить ИИ-ассистента представить его в сводке как легитимное или срочное, тем самым побуждая пользователя открыть сообщение и перейти по ссылке. Для маскировки подобных инструкций чаще всего применялось четыре метода: HTML-комментарии, невидимый текст (оформленный с помощью CSS), данные в кодировке Base64 и символы нулевой ширины.

За счёт таких манипуляций ИИ получал предписание игнорировать предыдущие установки и инициировать банковский перевод, передачу конфиденциальных сведений или отображение ложного уведомления о необходимости срочных действий. Среди реальных примеров исследователи Barracuda упомянули секретный блок в письме со счётом на оплату: он побуждал нейросеть, составляющую сводку, добавить ложное приоритетное действие — изменение платёжных реквизитов поставщика, — тем самым подталкивая сотрудника перевести средства злоумышленнику.

Также были описаны:

• скрытый текст в резюме, дающий команду системе первичного отбора кандидатов (на базе ИИ) поставить оценку «10 из 10»;

• поддельный запрос на перевод в режим обслуживания, заставляющий чат-бота техподдержки раскрыть свою конфигурацию;

• и «отравленная» веб-документация, предписывающая вставить в код аутентификации строку для кражи учётных данных.

Авторы документа советуют удалять невидимые элементы и символы до того, как контент поступит к ИИ-ассистентам, выявлять алгоритмы, направленные на обход заданных инструкций, использовать «песочницы» для нейросетей, проверять выходную информацию, а также требовать участия человека для подтверждения платежей и внесения изменений в данные поставщиков.

Усам Оздемиров