19 ноября 2026 / время чтения: 2 мин. / всего просмотров: 30
LLM разошлись во мнениях в ходе эксперимента
Согласно результатам нового исследования, проведённого компанией Echo, три передовые ИИ-модели — Claude Mythos 5.1 (от Anthropic), GPT-5.6 Sol (от OpenAI) и GLM-5.3 (от Z.ai), которым было поручено проанализировать один и тот же исходный код, выявили уязвимости, практически не пересекающиеся друг с другом.
Каждая из моделей анализировала две библиотеки Maven и один пакет npm, используя фирменный инструмент поиска брешей от Echo и единый процесс проверки. Доступ к GPT-5.6 Sol был получен через программу Daybreak (её OpenAI предоставляет проверенным ИБ-командам).
Из 121 обнаруженной проблемы 83% (100 случаев) зафиксировано только одной из нейросетей, а остальные — двумя другими. Больше всего валидированных находок оказалось у Claude Mythos — 25 (для сравнения, у GLM-5.3 их девять, а у GPT-5.6 Sol — восемь). При этом на долю GPT-5.6 Sol пришлось шесть из семи подтверждённых уязвимостей в одной из библиотек Maven, а GLM-5.3 выявила шесть штук в другой библиотеке — тех, что остались незамеченными для ботов конкурентов.
Различия проявились и в оценке степени серьёзности брешей. Одну из проблем в npm-пакете (с более чем 350 млн скачиваний в месяц) GLM-5.3 оценила как «критическую», ClaudeMythos — как «высокую», а GPT-5.6 Sol сочла её задокументированным поведением, а не ошибкой. Автоматизированная же система проверки присвоила ей низкий уровень опасности.
GPT-5.6 Sol завершила поиск примерно за 24 минуты; Claude Mythos потребовалось около 198 минут, а GLM-5.3 — 174 минуты. Последняя, однако, оказалась наиболее экономичной: три цикла поиска обошлись примерно в 22 доллара, в то время как затраты на Claude Mythos составили 303 доллара, а на GPT-5.6 Sol — 30 долларов.
Исследователь безопасности в Echo Юваль Сагги заявил, что попытки определить, какая нейросеть лучше, — это «неверная постановка вопроса». По его словам, если злоумышленник использует для поиска одну ИИ-модель, а потенциальная жертва — другую, то «защитник может даже не увидеть уязвимость, которую собирается эксплуатировать атакующий».
Каждая LLM запускалась только один раз, поэтому в Echo охарактеризовали данный эксперимент как «контролируемое сравнение», а не как полноценное комплексное тестирование (бенчмарк). Было отмечено, что автоматизированная проверка не равносильна подтверждению со стороны сопровождающих проектов.
Усам Оздемиров