19 ноября 2026 / время чтения: 2 мин. / всего просмотров: 30

LLM разошлись во мнениях в ходе эксперимента


Согласно результатам нового исследования, проведённого компанией Echo, три передовые ИИ-модели — Claude Mythos 5.1 (от Anthropic), GPT-5.6 Sol (от OpenAI) и GLM-5.3 (от Z.ai), которым было поручено проанализировать один и тот же исходный код, выявили уязвимости, практически не пересекающиеся друг с другом.

Каждая из моделей анализировала две библиотеки Maven и один пакет npm, используя фирменный инструмент поиска брешей от Echo и единый процесс проверки. Доступ к GPT-5.6 Sol был получен через программу Daybreak (её OpenAI предоставляет проверенным ИБ-командам).

Из 121 обнаруженной проблемы 83% (100 случаев) зафиксировано только одной из нейросетей, а остальные — двумя другими. Больше всего валидированных находок оказалось у Claude Mythos — 25 (для сравнения, у GLM-5.3 их девять, а у GPT-5.6 Sol — восемь). При этом на долю GPT-5.6 Sol пришлось шесть из семи подтверждённых уязвимостей в одной из библиотек Maven, а GLM-5.3 выявила шесть штук в другой библиотеке — тех, что остались незамеченными для ботов конкурентов.

Различия проявились и в оценке степени серьёзности брешей. Одну из проблем в npm-пакете (с более чем 350 млн скачиваний в месяц) GLM-5.3 оценила как «критическую», ClaudeMythos — как «высокую», а GPT-5.6 Sol сочла её задокументированным поведением, а не ошибкой. Автоматизированная же система проверки присвоила ей низкий уровень опасности.

GPT-5.6 Sol завершила поиск примерно за 24 минуты; Claude Mythos потребовалось около 198 минут, а GLM-5.3 — 174 минуты. Последняя, однако, оказалась наиболее экономичной: три цикла поиска обошлись примерно в 22 доллара, в то время как затраты на Claude Mythos составили 303 доллара, а на GPT-5.6 Sol — 30 долларов.

Исследователь безопасности в Echo Юваль Сагги заявил, что попытки определить, какая нейросеть лучше, — это «неверная постановка вопроса». По его словам, если злоумышленник использует для поиска одну ИИ-модель, а потенциальная жертва — другую, то «защитник может даже не увидеть уязвимость, которую собирается эксплуатировать атакующий».

Каждая LLM запускалась только один раз, поэтому в Echo охарактеризовали данный эксперимент как «контролируемое сравнение», а не как полноценное комплексное тестирование (бенчмарк). Было отмечено, что автоматизированная проверка не равносильна подтверждению со стороны сопровождающих проектов.

 

Усам Оздемиров

Похожие новости

Новость

TrendAI: Хак-группы начнут пожирать друг друга

Новость

Безопасникам советуют сместить акцент на смягчение рисков

Новость

Достижения Glasswing «не складываются в единую картину»

Новость

Прогноз: В ИИ-эру лишь 5% продуктов потребует инженерной экспертизы

  1. 05 ИИ-агент поселился в сетях оператора связи
  2. 06 Россия и Китай всё дальше от «Клода»
  3. 07 «Хитрый сокол» атаковал не-банкиров
  4. 08 Инструменты ИИ стали каналами утечек данных
  5. 09 Сроки госзакупок как тормоз для облаков
  6. 10 CrowdStrike показала «ИИ-стоп-кран»
ИИ-ассистент BISонлайн
Привет! Я помогу разобраться в материалах журнала. Хотите, перескажу текущую статью за 20 секунд?
Рекомендую прочитать
«Как построить SOC в 2026»