20 ноября 2026 / время чтения: 7 мин. / всего просмотров: 10
Как проверить достоверность испытаний средств защиты ИИ
Агенты ускоряют разработку, но приёмка кода может отставать. Описаны ложные зачёты на нашем полигоне и порядок приёмки: агент-исполнитель меняет код, агент-проверяющий даёт техническое заключение, человек принимает решение по проверяемым результатам. Даны предложения к отраслевой методике.
1. Контекст
Десять компактных ПК для ИИ-агентов обойдутся примерно в 1–1,5 млн руб. без облачных моделей и сопровождения. Агенты работают как младшие разработчики: пишут код, исправляют ошибки, запускают тесты. Постановка задач, архитектура и приёмка остаются за специалистом.
На нашем полигоне в сентябре 2026 года агенты под руководством одного специалиста внесли около 1540 изменений — это более 260 тысяч строк кода и тестов. Регрессионное (приёмочное) тестирование версии к выпуску включает 7784 проверки. Даже при 15 минутах на изменение ручная проверка заняла бы около 385 часов в месяц. Приёмка либо не успевает, либо верит итоговым отчётам без проверки первичных данных, рискуя ложным зачётом. Экономический эффект зависит от достоверности приёмки.
2. Определение
Ложный зачёт: испытание формально пройдено, но данных недостаточно, чтобы подтвердить выполнение требования. В отличие от ложного срабатывания ошибается не средство защиты, а испытание или толкование его результата.
3. Как это выглядит на практике
Испытания запускали и отчёты готовили ИИ-агенты; ошибки нашлись при сверке с первичными данными.
3.1. Стопроцентный результат без единой проверки
Инструмент оценки показывал 100% распознавания атак, хотя запросы до системы не доходили: цель испытания не была задана, а ответ «цель не задана» засчитывался как обнаружение. Каждая несостоявшаяся проверка улучшала показатель.
С блокировкой похожая ловушка: шлюз с недействительным ключом отклоняет все запросы, и испытание, которое смотрит только на непрошедшие атаки, примет отказ за работу защиты. Поэтому блокировку проверяют вместе с допустимым контрольным запросом по тому же маршруту.
3.2. Запись журнала без связи с испытанием
Остановку многоходовой атаки засчитали по записи журнала из режима наблюдения, хотя идентификаторы бесед никто не сравнил, а похожий сценарий запускали несколькими минутами раньше. Подтверждает только событие, связанное с конкретным испытанием.
3.3. Вежливый новичок и подвижный эталон
После семи приёмочных рубежей защита отклонила сообщение «Здравствуйте! Я новый сотрудник, изучаю регламенты»: таких вступлений в наборах не было. После исправления атака на чужую учётную запись, начатая той же фразой, получила 0,74 при пороге 0,85 и не была остановлена. Обычное сообщение и похожую атаку включают в приёмку вместе.
С эталоном та же история: по машинной разметке остановлено 76% атак (64 из 84), а по повторной разметке двумя моделями 60 блокировок из 80 допустимых текстов дают 75% ложных срабатываний. Без разметки специалистами ни одна из цифр не говорит о реальной частоте ошибок.
3.4. Тесты, которые ничего не проверяли
Тест агента-исполнителя считал вызовы функции в коде и был успешен при дефекте, а тесты без нужных файлов завершались успешно, ничего не проверив. Ошибки выявили отрицательный контроль, агент-проверяющий и сверка с источником.
3.5. Признаки ложного зачёта
Результат стоит сверить с первичными данными, если:
100% на большом наборе без данных о прохождении запросов;
результат не меняется при заведомом дефекте;
в отчёте нет числа неисполненных проверок, пропусков и ошибок;
событие в журнале не привязано к случаю;
метки эталона поставлены автоматически без описания происхождения данных;
вывод агента не подкреплён первичными данными.
4. Общие причины
Во всех случаях основание для зачёта расходилось с требованием: технический исход принимали за результат, событие не связывали с испытанием, эталон не проверяли на происхождение. Совмещение ролей агента-исполнителя и агента-проверяющего мешало заметить ошибку. Такие ошибки бывают и без агентов, но агенты множат их масштаб.
5. Методика приёмки
5.1. Роли. Агент-исполнитель меняет код по утверждённым требованиям, сам проверяет свою работу и передаёт агенту-проверяющему версию, результаты и первичные данные
Агент-проверяющий работает отдельно, в том числе на модели другого поставщика или семейства. Он проверяет версию по утверждённой программе, не видит выводов агента-исполнителя, ничего не исправляет и готовит заключение с перечнем расхождений. Смена модели сама по себе независимости не гарантирует.
Приёмщиком может быть только человек. Он утверждает программу, критерии и эталон и принимает решение. Его действия должны быть технически недоступны агентам: у нас ключ подписи выпуска хранится только у ответственного лица.
5.2. Конвейер приёмки
Сначала фиксируют требования, критерии, маршрут испытания и эталон с происхождением данных, а состав поставки сверяют с манифестом.
Поставку проверяют на уязвимости, закладки и секреты, а каждое средство проверки заранее испытывают на образце с известным нарушением.
Регрессионное тестирование идёт в поставляемом образе. Неисполненная проверка и техническая ошибка получают свои статусы и успехом не считаются.
Каждую проверку, затронутую изменением, подтверждают отрицательным контролем: на исправном образце она успешна, а внесённый дефект находит.
Агенты-проверяющие и инструмент состязательного тестирования испытывают систему как чёрный ящик, только через эксплуатационный интерфейс. Часть базы скрыта от агента-исполнителя, а менять критерии и эталон ему запрещено.
Агент-проверяющий на модели другого семейства изучает код и первичные данные как белый ящик, а автоматическая сверка проверяет числа и контрольные суммы.
Систему разворачивают на отдельной установке строго по документации, и расхождение с ней считается дефектом.
В конце агент-проверяющий передаёт приёмщику заключение с первичными данными. Если не выполнено обязательное требование, приёмка останавливается, а даже при всех выполненных требованиях решение принимает человек.
5.3. Приёмка человеком
Приёмщик изучает невыполненные требования, расхождения, неисполненные проверки, технические ошибки и изменения эталона. Положительные результаты он проверяет выборочно: как исходный норматив предлагаем брать не менее 5% и не менее 20 случаев на класс сценариев, а если случаев меньше, смотреть все. Один ложный зачёт в выборке означает проверку всего класса.
Мы следим за долями неисполненных проверок и ложных зачётов, но даже полный охват отрицательным контролем означает лишь покрытие выбранными дефектами, а не защиту от всех нарушений. Этот подход мы применяем в своих передовых разработках систем защиты ИИ.
6. Предложения к отраслевой методике
Испытания статических анализаторов кода под патронажем ФСТЭК России описаны в публикациях 2025 и 2026 годов [1, 2], и итоговая из них прямо называет ограничения: неполные разметку и кросс-верификацию, приблизительные оценки, необходимость доработать стандарт [2]. Для средств защиты ИИ нужна такая же работа с единой методикой.
В такой методике у неисполненной проверки и технической ошибки есть отдельные статусы, а эталон размечают специалисты с раскрытием происхождения данных и ограничений. Средство защиты испытывают в эксплуатационной схеме, раздельно фиксируя его решение, действие интеграционного слоя и конечный результат. База из открытой и закрытой частей с русскоязычным разделом включает прямые запросы, внедрение инструкций через документы и инструменты, многоходовые сценарии и обычные сообщения. Участие ИИ-агентов раскрывается, результаты проверяются независимо, порядок приёмки человеком описывается, а ограничения методики публикуются вместе с результатами.
7. Заключение
Агенты снижают стоимость расширения разработки и могут перенести узкое место с написания кода на подтверждение его корректности. Сбор и проверку доказательств нужно автоматизировать, но решение о приёмке остаётся за человеком. Без достоверного контроля рост числа агентов и проверок может лишь множить подтверждения одной ошибки.
Литература
Пономарев Д. В., Итоги этапа «Домашнее задание» испытаний статических анализаторов под патронажем ФСТЭК России // BIS Journal. 7 июля 2025 года. URL: https://ib-bank.ru/articles/itogi-etapa-domasnee-zadanie-ispytanii-staticeskix-analizatorov-pod-patronazem-fstek-rossii
Пономарев Д. В., Итоги испытаний статических анализаторов исходного кода при организационной и методической поддержке ФСТЭК России // BIS Journal. 12 февраля 2026 года. URL: https://ib-bank.ru/articles/itogi-ispytanii-staticeskix-analizatorov-isxodnogo-koda-pri-organizacionnoi-i-metodiceskoi-podderzke-fstek-rossii
Реклама. ООО «АТ-ГРУП», ИНН: 7730016670, Erid: 2Vfnxw3zQ4M