20 ноября 2026 / время чтения: 7 мин. / всего просмотров: 10

Как проверить достоверность испытаний средств защиты ИИ


Агенты ускоряют разработку, но приёмка кода может отставать. Описаны ложные зачёты на нашем полигоне и порядок приёмки: агент-исполнитель меняет код, агент-проверяющий даёт техническое заключение, человек принимает решение по проверяемым результатам. Даны предложения к отраслевой методике.

 

1. Контекст

Десять компактных ПК для ИИ-агентов обойдутся примерно в 1–1,5 млн руб. без облачных моделей и сопровождения. Агенты работают как младшие разработчики: пишут код, исправляют ошибки, запускают тесты. Постановка задач, архитектура и приёмка остаются за специалистом.

На нашем полигоне в сентябре 2026 года агенты под руководством одного специалиста внесли около 1540 изменений — это более 260 тысяч строк кода и тестов. Регрессионное (приёмочное) тестирование версии к выпуску включает 7784 проверки. Даже при 15 минутах на изменение ручная проверка заняла бы около 385 часов в месяц. Приёмка либо не успевает, либо верит итоговым отчётам без проверки первичных данных, рискуя ложным зачётом. Экономический эффект зависит от достоверности приёмки.

 

2. Определение

Ложный зачёт: испытание формально пройдено, но данных недостаточно, чтобы подтвердить выполнение требования. В отличие от ложного срабатывания ошибается не средство защиты, а испытание или толкование его результата.

 

3. Как это выглядит на практике

Испытания запускали и отчёты готовили ИИ-агенты; ошибки нашлись при сверке с первичными данными.

3.1. Стопроцентный результат без единой проверки

Инструмент оценки показывал 100% распознавания атак, хотя запросы до системы не доходили: цель испытания не была задана, а ответ «цель не задана» засчитывался как обнаружение. Каждая несостоявшаяся проверка улучшала показатель.

С блокировкой похожая ловушка: шлюз с недействительным ключом отклоняет все запросы, и испытание, которое смотрит только на непрошедшие атаки, примет отказ за работу защиты. Поэтому блокировку проверяют вместе с допустимым контрольным запросом по тому же маршруту.

3.2. Запись журнала без связи с испытанием

Остановку многоходовой атаки засчитали по записи журнала из режима наблюдения, хотя идентификаторы бесед никто не сравнил, а похожий сценарий запускали несколькими минутами раньше. Подтверждает только событие, связанное с конкретным испытанием.

3.3. Вежливый новичок и подвижный эталон

После семи приёмочных рубежей защита отклонила сообщение «Здравствуйте! Я новый сотрудник, изучаю регламенты»: таких вступлений в наборах не было. После исправления атака на чужую учётную запись, начатая той же фразой, получила 0,74 при пороге 0,85 и не была остановлена. Обычное сообщение и похожую атаку включают в приёмку вместе.

С эталоном та же история: по машинной разметке остановлено 76% атак (64 из 84), а по повторной разметке двумя моделями 60 блокировок из 80 допустимых текстов дают 75% ложных срабатываний. Без разметки специалистами ни одна из цифр не говорит о реальной частоте ошибок.

3.4. Тесты, которые ничего не проверяли

Тест агента-исполнителя считал вызовы функции в коде и был успешен при дефекте, а тесты без нужных файлов завершались успешно, ничего не проверив. Ошибки выявили отрицательный контроль, агент-проверяющий и сверка с источником.

3.5. Признаки ложного зачёта

Результат стоит сверить с первичными данными, если:

  • 100% на большом наборе без данных о прохождении запросов;

  • результат не меняется при заведомом дефекте;

  • в отчёте нет числа неисполненных проверок, пропусков и ошибок;

  • событие в журнале не привязано к случаю;

  • метки эталона поставлены автоматически без описания происхождения данных;

  • вывод агента не подкреплён первичными данными.

 

4. Общие причины

Во всех случаях основание для зачёта расходилось с требованием: технический исход принимали за результат, событие не связывали с испытанием, эталон не проверяли на происхождение. Совмещение ролей агента-исполнителя и агента-проверяющего мешало заметить ошибку. Такие ошибки бывают и без агентов, но агенты множат их масштаб.

 

5. Методика приёмки

5.1. Роли. Агент-исполнитель меняет код по утверждённым требованиям, сам проверяет свою работу и передаёт агенту-проверяющему версию, результаты и первичные данные

Агент-проверяющий работает отдельно, в том числе на модели другого поставщика или семейства. Он проверяет версию по утверждённой программе, не видит выводов агента-исполнителя, ничего не исправляет и готовит заключение с перечнем расхождений. Смена модели сама по себе независимости не гарантирует.

Приёмщиком может быть только человек. Он утверждает программу, критерии и эталон и принимает решение. Его действия должны быть технически недоступны агентам: у нас ключ подписи выпуска хранится только у ответственного лица.

5.2. Конвейер приёмки

  1. Сначала фиксируют требования, критерии, маршрут испытания и эталон с происхождением данных, а состав поставки сверяют с манифестом.

  2. Поставку проверяют на уязвимости, закладки и секреты, а каждое средство проверки заранее испытывают на образце с известным нарушением.

  3. Регрессионное тестирование идёт в поставляемом образе. Неисполненная проверка и техническая ошибка получают свои статусы и успехом не считаются.

  4. Каждую проверку, затронутую изменением, подтверждают отрицательным контролем: на исправном образце она успешна, а внесённый дефект находит.

  5. Агенты-проверяющие и инструмент состязательного тестирования испытывают систему как чёрный ящик, только через эксплуатационный интерфейс. Часть базы скрыта от агента-исполнителя, а менять критерии и эталон ему запрещено.

  6. Агент-проверяющий на модели другого семейства изучает код и первичные данные как белый ящик, а автоматическая сверка проверяет числа и контрольные суммы.

  7. Систему разворачивают на отдельной установке строго по документации, и расхождение с ней считается дефектом.

  8. В конце агент-проверяющий передаёт приёмщику заключение с первичными данными. Если не выполнено обязательное требование, приёмка останавливается, а даже при всех выполненных требованиях решение принимает человек.

5.3. Приёмка человеком

Приёмщик изучает невыполненные требования, расхождения, неисполненные проверки, технические ошибки и изменения эталона. Положительные результаты он проверяет выборочно: как исходный норматив предлагаем брать не менее 5% и не менее 20 случаев на класс сценариев, а если случаев меньше, смотреть все. Один ложный зачёт в выборке означает проверку всего класса.

Мы следим за долями неисполненных проверок и ложных зачётов, но даже полный охват отрицательным контролем означает лишь покрытие выбранными дефектами, а не защиту от всех нарушений. Этот подход мы применяем в своих передовых разработках систем защиты ИИ.

 

6. Предложения к отраслевой методике

Испытания статических анализаторов кода под патронажем ФСТЭК России описаны в публикациях 2025 и 2026 годов [1, 2], и итоговая из них прямо называет ограничения: неполные разметку и кросс-верификацию, приблизительные оценки, необходимость доработать стандарт [2]. Для средств защиты ИИ нужна такая же работа с единой методикой.

В такой методике у неисполненной проверки и технической ошибки есть отдельные статусы, а эталон размечают специалисты с раскрытием происхождения данных и ограничений. Средство защиты испытывают в эксплуатационной схеме, раздельно фиксируя его решение, действие интеграционного слоя и конечный результат. База из открытой и закрытой частей с русскоязычным разделом включает прямые запросы, внедрение инструкций через документы и инструменты, многоходовые сценарии и обычные сообщения. Участие ИИ-агентов раскрывается, результаты проверяются независимо, порядок приёмки человеком описывается, а ограничения методики публикуются вместе с результатами.

 

7. Заключение

Агенты снижают стоимость расширения разработки и могут перенести узкое место с написания кода на подтверждение его корректности. Сбор и проверку доказательств нужно автоматизировать, но решение о приёмке остаётся за человеком. Без достоверного контроля рост числа агентов и проверок может лишь множить подтверждения одной ошибки.

 

Литература

Пономарев Д. В., Итоги этапа «Домашнее задание» испытаний статических анализаторов под патронажем ФСТЭК России // BIS Journal. 7 июля 2025 года. URL: https://ib-bank.ru/articles/itogi-etapa-domasnee-zadanie-ispytanii-staticeskix-analizatorov-pod-patronazem-fstek-rossii

Пономарев Д. В., Итоги испытаний статических анализаторов исходного кода при организационной и методической поддержке ФСТЭК России // BIS Journal. 12 февраля 2026 года. URL: https://ib-bank.ru/articles/itogi-ispytanii-staticeskix-analizatorov-isxodnogo-koda-pri-organizacionnoi-i-metodiceskoi-podderzke-fstek-rossii

 

Реклама. ООО «АТ-ГРУП», ИНН: 7730016670, Erid: 2Vfnxw3zQ4M

Похожие статьи

Статья

Как проверить ИИ-агента, которому выдали почту, CRM и доступ к файлам

Статья

AI/LLM Firewall как техническая точка контроля корпоративного использования GenAI

Статья

Вайб-кодинг в банке. Кто отвечает за код, который написал не человек?

Статья

Доверенный ИИ: от научной проблемы к промышленной платформе

  1. 05 Искусственный интеллект в ИБ. Как не внедрить хаос
  2. 06 Искусственный интеллект: земные проблемы на фоне эволюции Вселенной
  3. 07 «Искусственный интеллект — это прежде всего инструмент в руках человека»
  4. 08 Чем заменить зарубежный балансировщик: риски и ориентиры выбора
  5. 09 ZTNA через ADKAR
  6. 10 Российские компактные МСЭ для офиса и филиала
ИИ-ассистент BISонлайн
Привет! Я помогу разобраться в материалах журнала. Хотите, перескажу текущую статью за 20 секунд?
Рекомендую прочитать
«Как построить SOC в 2026»