Безопасники выявили опасную уязвимость в ChatGPT

Специалисты Check Point обнаружили в ChatGPT уязвимость, которая позволяла с помощью одного вредоносного запроса осуществлять удалённое выполнение кода и провоцировать утечку данных.

Чат-бот был обновлён после того, как исследователи сообщили об этой проблеме в OpenAI. До этого скрытый исходящий канал связи от изолированной среды нейросети к общедоступному интернету мог подвергать пользователей риску компрометации их переписки.

Многие работники привыкли к ИИ-ассистентам, которые помогают более эффективно управлять задачами, часто имеющими конфиденциальный характер. LLM также используются для обсуждения личных вопросов (здоровья или финансов), и пользователи ожидают, что эта информация останется внутри системы — благодаря соответствующим механизмам защиты.

Однако, по утверждениям представителей Check Point, выявленная уязвимость позволяла передавать сведения на внешний сервер через DNS-канал. При этом модель работала, исходя из предположения, что среда не предназначена для отправки данных наружу, и не знала, как предотвратить или обойти команду на отправку. А злоумышленник мог воспользоваться брешью, делая соответствующий запрос в ChatGPT.

Безопасники отметили, что существует множество способов обманом заставить потенциальных жертв вводить команды — например, путём размещения подсказки на веб-сайте или в соцсетях: «Вредоносная подсказка, распространяемая в таком формате, может быть представлена ​​как безобидное средство повышения продуктивности и интерпретирована как ещё один полезный трюк для получения лучших результатов от ИИ-помощника».

Хотя неизвестно, была ли эта уязвимость проэксплуатирована злоумышленниками в реальных условиях, эксперты Check Point предупредили о приоритете безопасности: «ИИ-инструменты становятся всё более мощными и широко распространёнными. Эти системы предлагают огромные преимущества, но их безопасное внедрение требует тщательного внимания к каждому уровню платформы».

Усам Оздемиров