.jpg)
США призывают местные ИИ-компании выявлять китайских пользователей и скрытно переводить их на менее мощные модели. Названы шесть разработчиков из КНР, которые обвиняются в широкомасштабной деятельности по нелегальному извлечению возможностей передовых американских LLM.
На прошлой неделе Агентство национальной безопасности (АНБ), Агентство по кибербезопасности и защите инфраструктуры (CISA) и Федеральное бюро расследований (ФБР) в совместном заявлении сообщили, что DeepSeek, Moonshot AI, Alibaba, MiniMax, StepFun и Z.AI атакуют чат-боты в США как минимум с конца 2024 года. По информации регуляторов, эти фирмы, вероятно, действовали «с ведома правительства Китая», проводя дистилляцию в отношении Claude, GPT, Gemini и Grok.
«Китайские ИИ-компании, осуществляющие промышленное извлечение данных из американских моделей ИИ, добиваются значительного сокращения сроков разработки и снижения финансовых затрат на обучение передовых LLM», — говорится в документе.
Пострадавших от подобных действий разработчиков ведомства призвали сотрудничать с властями страны и союзниками, чтобы положить конец предполагаемым кражам, угрожающим лидерству США в технологической гонке. Для этого потребуются скоординированные действия всей экосистемы ИИ.
По словам представителей АНБ, CISA и ФБР, методы атак включают «эксплуатацию API для вывода (инференса) моделей ИИ» путём массовой закупки поддельных учётных записей и применения техник внедрения промптов (prompt injection) для обхода ограничений безопасности моделей (так называемый «джейлбрейк»). Так, например, DeepSeek обвинили в использовании промптов, предписывающих моделям сформулировать внутреннюю логику уже сформированных ответов и изложить её пошагово.
Принимая меры защиты, ИИ-вендоры должны улучшить механизмы выявления сложных кампаний, в которых предположительно задействованы десятки тысяч аккаунтов. В целом, регуляторы порекомендовали усилить мониторинг «аномальных и вредоносных промптов, учётных записей, сетей и моделей поведения». Также следует ужесточить процедуры «проверки личности» пользователей и внимательнее отслеживать лиц, использующих корпоративные подписки (хотя обе эти меры потенциально могут вызвать опасения у добросовестных клиентов касательно конфиденциальности данных).
Помимо этого, безопасники посоветовали компаниям намеренно снижать качество ответов ботов при обнаружении признаков атак, направленных на дистилляцию знаний. «Незаметно» изменяя ответы — например, «предоставляя верную информацию, но с иной аргументацией», допуская стилистические неточности или уменьшая глубину логических рассуждений, — ИИ-разработчики могут снизить ценность получаемых данных для китайских фирм. Наконец, АНБ, CISA и ФБР предложили своим подопечным скрытно переводить подозрительные аккаунты на применение менее совершенных LLM, не уведомляя об этом пользователей.
Реализация подобных мер, вероятно, будет сопряжена с техническими трудностями.
Ведомства признают, что конкуренты из КНР могут прибегать к «адаптивным методам поиска для систематического выявления ценной информации, пригодной для извлечения». Некоторые даже способны автоматически определять доступность более совершенной ИИ-модели и переключаться на неё в течение 24 часов. Кроме того, они используют автоматизированные системы контроля качества, позволяющие выявлять снижение информативности ответов и отличать обычные «сбои в работе сервиса от намеренного ухудшения качества данных в целях защиты».
Существует и ещё одна проблема: если американские вендоры не будут проявлять осторожность при выборе целей для таких ограничений, добросовестные клиенты рискуют попасть под действие описанных практик и быть переведены на менее совершенную модель без какого-либо уведомления. А также столкнуться с тем, что ответы станут более краткими, а доступный функционал — ограниченным. Компании же, вероятно, начнут добавлять в ответы «шум», препятствующий отправке последующих запросов.
Признавая способность подобных мер вызвать недовольство легитимных пользователей регуляторы посоветовали ИИ-лабораториям искать «баланс между безопасностью и удобством», допуская при этом, что некоторые компромиссы — например, «снижение точности прогнозирования и практической ценности» — окажутся неизбежными для предотвращения копирования китайской стороной американских технологий.
Плюс, власти США призвали разработчиков LLM и правительства союзных стран обмениваться профильной информацией. Это поможет отслеживать эволюцию атак методом дистилляции и не тратить время на изучение разрозненных, изолированных аномалий. Силовики же предупредили: если не удастся наладить совместную работу, США столкнутся с постоянным финансовым ущербом, вызванным «систематическим извлечением проприетарных функций и возможностей, которое приведёт к значительным экономическим потерям».
Как заявила на прошлой неделе официальный представитель МИД КНР Мао Нин, американским ведомствам следует работать над укреплением сотрудничества с Китаем в области ИИ, «а не выдвигать безосновательные обвинения». Она также назвала успехи своей страны в быстром наращивании ИИ-потенциала результатом «высокого уровня научно-технической самостоятельности».
Усам Оздемиров
.jpg)
