LLM в ответ на запрос пользователя могут направить его на вредоносный сайт

ИБ-исследователи из Netcraft обнаружили существенный риск безопасности, который несут большие языковые модели. На простые вопросы о том, как войти в различные известные сервисы, ИИ-системы выдавали неверные и потенциально опасные ответы более чем в трети случаев.

Согласно новым данным Netcraft, из 131 уникального имени хоста, сгенерированного моделями в ответ на запросы о входе в систему для 50 брендов, 34% указывало на домены, не принадлежащие рассматриваемым компаниям. Сюда входили незарегистрированные или неактивные домены (29%) и активные сайты, принадлежащие не связанным с вопросом организациям (5%). Только 66% доменов относилось к фактическим брендам. В реальных условиях это означает, что пользователь, просто задав стандартный вопрос нейросети, может быть перенаправлен на вредоносный или невостребованный домен.

Гал Мойал из Noma Security прокомментировал новость так: «Если ИИ предлагает незарегистрированные или неактивные домены, злоумышленники могут их регистрировать и создавать фишинговые сайты. Пока пользователи доверяют ссылкам, предоставленным ИИ, злоумышленники получают мощный вектор для сбора учётных данных или распространения вредоносного ПО в больших масштабах».

В одном случае, ставшем тревожным открытием, Perplexity AI направила пользователя на фишинговый сайт, выдававший себя за ресурс банка Wells Fargo. Мошенническая ссылка появилась над настоящей и привела жертву к убедительному клону. Это показывает, что LLM могут напрямую давать ход активным угрозам.

Небольшие финансовые учреждения и региональные платформы оказались особенно уязвимыми. Поскольку эти компании с меньшей вероятностью будут включены в данные обучения ИИ, нейросеть более склонна изобретать URL-адреса или рекомендовать не связанные с ними. Также LLM предоставляют семантические вероятностные ответы с преднамеренной изменчивостью во избежание повторяющихся результатов, что может привести к галлюцинациям или неточностям. Проблема усугубляется отравленными данными обучения.

Многие эксперты сходятся во мнении, что решения должны быть сосредоточены на проверке во время выполнения. «Без защитных барьеров, обеспечивающих правильность URL-адресов, ответы ИИ могут вводить пользователей в заблуждение, — резюмировал Мойал. — Любой запрос/ответ, содержащий URL, можно проверить с использованием общепринятых практик».

Усам Оздемиров