19 ноября 2026 / время чтения: 20 мин. / всего просмотров: 11

Искусственный интеллект в ИБ. Как не внедрить хаос


Искусственный интеллект (ИИ) уже применяется в информационной безопасности (ИБ) для анализа событий, поиска уязвимостей, подготовки правил и отчётов. Однако подключение большой языковой модели (LLM) ИИ само по себе не создаёт надёжную систему расследования или реагирования.

Практический эффект определяется задачей, данными, инструментами, организацией выполнения и проверкой результата. В статье рассматриваются подходы и опубликованные результаты, доступные на IV квартал 2026 года.

ИБ — не один процесс, а их взаимоувязанная совокупность. Поэтому вопрос надо ставить не «где бы применить ИИ?», а «какую проблему решаем, чем располагаем, что хотим ускорить и как проверим результат».

В разных процессах ИБ ИИ даёт разный эффект: в мониторинге и реагировании помогает разбирать события и проверять гипотезы; в Threat Intelligence — извлекать сведения из отчётов и сопоставлять их с инфраструктурой; в AppSec — находить дефекты и готовить проверяемые исправления. Для одних задач достаточно правил и автоматизации, для других полезны предиктивные модели, для третьих — генеративные модели и инструменты выполнения. Выбор должен опираться на результат и стоимость всей системы.

Важно различать применение ИИ для защиты, защиту самих ИИ-систем и противодействие атакам, усиленным ИИ. Статья сосредоточена на первом направлении и на безопасности внедряемых решений; она не претендует на полный обзор всех угроз, связанных с ИИ.

 

Базовая логика внедрения ИИ в ИБ

Управленческая схема внедрения ИИ в ИБ внешне проста:

  • описать процесс (кто и какие именно задачи выполняет, с каким результатом и где основной объём работы);

  • определить, какие на входе процесса есть данные (код, отчёты, нормативно-методические документы, база инцидентов и т. д.) и какого они качества;

  • выбрать инструмент и среду его применения под задачу и данные: правила, классическое ML, генеративный ассистент, управляемый workflow или агент с разрешёнными инструментами;

  • задать критерии завершения и контроль: метрики качества, технические ограничения действий, распределение ответственности и оценку стоимости.

Такой порядок связывает задачу с ожидаемым результатом. Неполные данные и неясные полномочия повышают риск ошибки, а отсутствие метрик мешает оценить эффект. При этом ИИ может помогать упорядочивать работу: структурировать карточки инцидентов, выявлять пропуски в документации и готовить проекты плейбуков. Для ограниченного эксперимента нужны понятная задача, ответственный специалист, разрешённые данные и способ проверки.

 

Модели и архитектура выполнения задач

Для целей статьи рассмотрим две группы прикладных подходов. Это рабочее разделение по назначению, а не классификация ИИ (генеративные модели также относятся к машинному обучению).

Предиктивные и дискриминативные модели, включая классическое ML и нейросети. Они используются для классификации, ранжирования, выявления аномалий, кластеризации, прогнозирования и поведенческого анализа. Такие модели применяются в системах обнаружения и реагирования на конечных точках (EDR) и в сети (NDR), управления событиями ИБ (SIEM), предотвращения утечек (DLP), контроля данных в хранилищах (DCAP), поведенческой аналитики пользователей и сущностей (UEBA) и антифроде. К этой группе относятся и многие модели распознавания изображений и речи. Наличие ML в продукте не означает доказанного эффекта каждого сценария: его качество зависит от данных, настройки и условий эксплуатации.

GenAI. Такие модели создают и преобразуют текст, код, изображения и другие артефакты. LLM — один из основных вариантов GenAI для работы с языком, кодом и знаниями; современные системы могут также обрабатывать изображения, аудио и другие модальности. В ИБ их можно использовать как ассистентов, в фиксированных программных workflows и в агентных системах.

Генерация с дополнением из внешних источников (Retrieval-Augmented Generation, RAG) — один из способов предоставления модели контекста. Поиск по нормативно-методической документации (НМД), плейбукам, отчётам и истории инцидентов помогает опираться на сведения организации без изменения весов модели. RAG может использовать полнотекстовый, векторный или гибридный поиск. Он не гарантирует полноту и достоверность ответа: результат зависит от источников, качества поиска, прав доступа и проверки выводов. Не каждому сценарию нужна отдельная база знаний или векторный индекс.

Архитектуру применения ИИ в ИБ эффективнее строить вокруг задачи, данных и проверяемого результата. Модель — один из элементов системы. В генеративных и особенно агентных сценариях её возможности реализуются через программную среду управления работой модели и агента — harness [1]. Она организует получение контекста, обращения к инструментам и обработку обратной связи. В промышленной системе этот контур должен взаимодействовать с механизмами контроля доступа, хранения состояния, журналирования и проверки результата.

Базовый цикл выполнения задачи: получить разрешённые данные → подготовить контекст → выбрать следующий шаг → выполнить разрешённое действие → проверить результат → продолжить, завершить или передать задачу человеку. Правила и классическое ML могут обрабатывать массовые потоки, а модель с harness — решать задачи, требующие сопоставления контекста и нескольких последовательных шагов. Ограничения доступа и исполнения должны обеспечиваться программно, независимо от того, что модель предлагает сделать.

Для реализации этого цикла в архитектуре можно выделить следующие функциональные контуры. Их состав и сочетание зависят от задачи; перечисление не означает, что каждый сценарий требует реализации всех перечисленных контуров:

  • Контур данных. В него входят: данные журналирования, события ИБ, карточки инцидентов ИБ, результаты работы сканеров уязвимостей, код, запросы («тикеты»), НМД, база знаний, бюллетени угроз ИБ, данные DLP/DCAP, базы данных управления конфигурациями (Configuration Management Database, CMDB) и сведения об активах. На этом уровне важно обеспечить качество, полноту, права доступа и понятную структуру данных.

  • ML-контур. Классическое ML целесообразно использовать там, где есть повторяемые признаки и можно измерить качество: скоринг, классификация, выявление аномалий, кластеризация, поведенческая аналитика и риск-ориентированная приоритизация. Для каждого сценария нужно сравнивать правила, специализированные модели и GenAI по качеству, задержке и стоимости, а не выбирать технологию только по типу данных.

  • GenAI-контур. GenAI применяется для работы с текстом, кодом и сложным контекстом: объяснения инцидентов, подготовки отчётов, анализа угроз, разработки и проверки правил обнаружения, подготовки исправлений кода. Его роль может включать выполнение проверяемых задач через инструменты. При этом необходимо различать ответ модели, полученные свидетельства и подтверждённое изменение в целевой системе.

  • Контур подготовки контекста. Контекст включает инструкции, сведения о задаче, актуальные данные, найденные документы, результаты инструментов и историю выполнения. RAG — один из механизмов его наполнения. Состояние хоста, учётной записи или уязвимости обычно нужно получать из соответствующей системы через API или запрос; найденный плейбук не подтверждает текущее состояние инфраструктуры. Для точных идентификаторов полезен полнотекстовый поиск, для структурированных данных — SQL и API, для документов — поиск с проверкой источников. Длинное контекстное окно не отменяет необходимости отбирать релевантные сведения и сохранять их происхождение. Подготовку контекста следует рассматривать как непрерывную часть выполнения задачи.

  • Агентный контур и harness. В фиксированном workflow порядок шагов задаётся программой; агент может выбирать следующий шаг и инструмент по результатам предыдущих действий. Само наличие вызовов функций ещё не делает систему агентной. Harness организует цикл работы модели с SIEM, SOAR, CMDB, системой управления уязвимостями (Vulnerability Management, VM), системой управления исходным кодом, GRC, DLP или тикет-системой. Среда исполнения, хранилище состояния и сервис полномочий могут быть отдельными компонентами. Поэтому при проектировании нужно определять границы и ответственность каждого из них. Harness организует выдачу необходимых инструментов и контекста, сохранение состояния, обработку ошибок, лимиты шагов, времени и расходов, завершение и передачу задачи человеку. Результат проверяется запросами к системам, тестами, валидаторами и свидетельствами. Уверенность модели или её самооценка недостаточны. Проверки подтверждают только свойства в пределах своего покрытия: успешный тест исправления не доказывает отсутствие других уязвимостей, а корректный синтаксис правила — достаточное покрытие атак. Непроверенные свойства и неопределённость нужно обозначать явно. Например, при расследовании подозрительного входа модель получает событие и критерии проверки. Harness предоставляет инструменты чтения SIEM и сведений об учётной записи и устройстве, обеспечивает ограничения доступа и сохраняет результаты. Агент проверяет гипотезы разрешёнными запросами; при нехватке данных фиксирует неопределённость. Итоговое заключение содержит ссылки на события и ответы систем. Запрос на блокировку проходит отдельную политику допуска. RAG в таком сценарии может найти плейбук или похожий инцидент, а достоверность расследования зависит также от актуальных данных, инструментов и проверки действий.

  • Контур контроля. Нужны разграничение прав, защита чувствительных данных, журнал выполнения, тестовые наборы, оценка качества и контроль затрат. Участие человека определяется риском действия и возможностью содержательной проверки: сам факт подтверждения не гарантирует правильность. Чтение разрешённых данных и подготовка черновиков могут выполняться автоматически, но также требуют контроля выгрузок и доступа. Изменения в продуктивных системах допускаются по отдельной политике. Документы, логи и результаты инструментов — недоверенные данные; содержащиеся в них команды не должны становиться инструкциями агента. Минимальные полномочия, функции инструментов и степень автономности должны задаваться независимо от решения модели.

На практике архитектура часто сочетает правила, классическое ML, GenAI и инструменты исполнения. Их роли определяются задачей и результатами испытаний. Проверять следует связку «модель — harness — данные — сценарий»: сильная модель с неудобными инструментами может ошибаться, а сложная обвязка может добавлять задержки и ограничивать более способную модель. При замене модели необходимо повторять проверку качества и пересматривать механизмы, которые компенсировали ограничения прежней версии.

 

Сценарии применения ИИ в ИБ

При внедрении ИИ удобно вести трёхуровневую карту сценариев: первый уровень — направление ИБ; второй — компонент, где сценарий реализуется; третий — конкретное действие, которое необходимо автоматизировать или усилить/ускорить.

GenAI полезен там, где требуется читать, сопоставлять и объяснять сведения, создавать артефакты и выполнять последовательность проверяемых действий. Для массовой обработки однотипных событий выбор между правилами, классическим ML и генеративными моделями должен опираться на измерения качества, задержки и стоимости. Основные направления применения включают:

  • Расследование инцидентов: собрать контекст через разрешённые запросы, построить и проверить гипотезы, связать выводы со свидетельствами, подготовить отчёт и передать спорные решения аналитику.

  • Threat Intelligence: разобрать отчёт, извлечь IoC и TTP, сопоставить с MITRE ATT&CK и доступными данными организации. При сопоставлении нужно различать предположение и подтверждённое наблюдение, учитывать срок актуальности индикаторов и проверять ссылки на источники.

  • AppSec: объяснить результаты сканеров, проверить применимость уязвимости, искать новые дефекты в разрешённой кодовой базе, подготовить исправление и испытать его в изолированной среде. Находка требует воспроизводимого подтверждения; исправление — проверки устранения дефекта, регрессий и обычного ревью.

  • GRC и НМД: найти требования, сравнить документы, подготовить доказательство, помочь аудитору и владельцу процесса понять несоответствия.

  • Разработка и проверка систем обнаружения (Detection engineering): подготовить правило, проверить синтаксис и применимость к доступным источникам, испытать на положительных и отрицательных примерах и оценить влияние на ложные срабатывания.

Практические результаты уже есть, но их нужно читать вместе с условиями получения. В одном из опубликованных проектов ИИ помог выявить 22 связанных с безопасностью дефекта в коде широко используемого браузера. Находки сопровождались воспроизводимыми тестами и были подтверждены разработчиком продукта. Это показывает возможность находить реальные дефекты в сложном коде, но не задаёт ожидаемый результат для любой кодовой базы.

В другом исследовании проверяли, помогает ли ИИ аналитикам разбирать сообщения сотрудников о возможном фишинге. 167 аналитиков случайным образом разделили на три группы: первая разбирала письма вручную, вторая получала очередь, упорядоченную ИИ по подозрительности, а третья — такую же очередь с вердиктами и объяснениями ИИ. Каждый участник проверял 25 писем, отобранных из общего набора в 93 письма. По результатам эксперимента авторы рассчитали производительность режима, в котором письма, признанные ИИ безопасными, исключаются из ручной проверки. В наиболее благоприятных условиях число правильно выявленных вредоносных писем на минуту работы аналитика увеличивалось до 6,5 раза. Основной эффект давало сокращение объёма ручного разбора, а не ускорение чтения каждого письма. Это оценка конкретного режима работы, а не всей деятельности SOC; перед его внедрением нужно отдельно проверить, сколько угроз система пропускает среди писем, признанных безопасными.

В массовом NDR, антифроде, ранжировании риска и UEBA классическое ML и правила могут обеспечивать более подходящие стоимость, задержку и устойчивость. GenAI способен дополнять их анализом контекста, обработкой исключений и проверкой гипотез. Применимость конкретного подхода подтверждается на данных организации.

GenAI не должен вытеснять работающие ML-модели и правила без подтверждённого выигрыша. Его ценность нужно оценивать по завершению задачи и качеству результата: помог ли он проверить гипотезу, создать работающее правило, подготовить проверенное исправление или сократить время специалиста при сохранении качества.

Приоритет стоит отдавать сценариям с доступными данными и инструментами в существующих ИБ-системах. Это может сократить интеграционные затраты, но не гарантирует выгодной экономики: нужно проверить лицензии, доступные функции, права, качество источников и стоимость эксплуатации. Первым полезным пилотом может быть SOC, AppSec, GRC или защита данных — выбор зависит от конкретной организации.

Пилоты целесообразно объединить в две волны по объёму полномочий, передаваемых системе. В первой ИИ помогает специалисту анализировать данные и готовить проверяемые решения; во второй самостоятельно выполняет разрешённые действия в рабочих системах. Сложность анализа и число шагов сами по себе не определяют волну: многошаговый агент может работать как помощник. Конкретный порядок запуска зависит от готовности данных, инструментов и проверки результата. Для каждого пилота заранее задаются исходная линия, критерии качества, бюджет и условия остановки.

 

Первая волна: помощь и подготовка проверяемых решений

Триаж, расследование, Threat Intelligence и GRC можно пилотировать как помощь в действующем процессе: ИИ собирает контекст, предлагает приоритет и вердикт по событию, проверяет гипотезы, готовит резюме отчётов об угрозах, находит требования и сопоставляет свидетельства. Специалист проверяет результат и принимает значимые решения. Помощник может самостоятельно обращаться к разрешённым источникам и выполнять аналитические шаги. Измеряют время специалиста, пропуски угроз, достоверность ссылок, полноту важных сведений и объём доработок. При нехватке данных результат должен отражать неопределённость; поиск по НМД не является самостоятельным заключением о соответствии.

Классификацию данных в DLP/DCAP, поведенческую аналитику и антифрод можно проверять параллельно на исторических данных. Для каждой задачи сравнивают применимые подходы: правила, предиктивные модели и, где это обосновано, генеративные модели, способные работать с текстом и изображениями. Например, выявление фишинга по техническим признакам письма и анализ смысла сообщения могут требовать разных методов. При распознавании чувствительных документов по изображениям качество зависит от типов документов, качества снимков и условий обработки. Поэтому пригодность решения нужно подтверждать на данных организации. Измеряют точность и полноту по классам, пропуски угроз и чувствительных данных, ложные срабатывания и стоимость. Если задача ограничивается классификацией, агентная архитектура может не требоваться.

В эту же волну входят разработка и тестирование правил обнаружения. Проверяют синтаксис, наличие полей в источниках, положительные и отрицательные примеры, ложные срабатывания, полноту обнаружения и стоимость запросов. Триаж сначала оценивают на исторических кейсах и, где необходимо, в режиме наблюдения: ИИ предлагает решения, а действующий процесс продолжает работать. Снижение нагрузки аналитика сопоставляют с пропусками угроз. Пока решение о закрытии алерта принимает человек, такой сценарий остаётся в первой волне.

В AppSec помощник может объяснять результаты сканеров, искать новые уязвимости в разрешённой области, воспроизводить дефекты и готовить исправления в изолированной среде; в VM — обосновывать приоритет с учётом эксплуатируемости, доступности актива и компенсирующих мер. Применение исправлений и других значимых изменений остаётся за специалистом в рамках действующей процедуры. Измеряют подтверждённые находки, ложные отчёты, время до проверенного исправления и трудозатраты ревью. Перенос архитектуры между направлениями требует отдельной проверки данных, инструментов и критериев результата.

 

Вторая волна: ограниченное самостоятельное исполнение

Во второй волне системе делегируют определённые действия в рабочих системах: закрытие разрешённых категорий алертов, применение проверенных правил или исправлений, выполнение отдельных операций реагирования. Действия ограничиваются явно заданными целями, параметрами и условиями допуска; исключения передаются специалисту, а операции повышенного риска проходят предусмотренное согласование. До запуска нужны технические ограничения полномочий, защита от повторного исполнения, журналирование, мониторинг, аварийная остановка и план восстановления. Часть действий необратима, поэтому одного обещания отката недостаточно. Измеряют успешное завершение задач, пропуски угроз, ошибочно допущенные действия, влияние на сервисы и время восстановления. Переход ко второй волне определяется доказанным качеством и готовностью контроля, а не календарём внедрения.

ИИ не заменяет владельца процесса, правила ответственности и технические ограничения. Он может помогать формализовать работу, но его предложения требуют проверки. Поэтому следует различать эксперимент по улучшению процесса и промышленную автоматизацию: недостаточная зрелость может ограничивать автономность, не исключая всякое применение ИИ.

Пилот следует отложить или сузить его область, если:

  • нет владельца процесса и понятного пользователя результата;

  • нет базовой метрики: непонятно, что именно должно стать быстрее, точнее, дешевле или безопаснее;

  • не хватает данных для выполнения и проверки задачи либо невозможно обеспечить к ним разрешённый доступ; необходимость разметки определяется сценарием и способом оценки;

  • более простое решение обеспечивает требуемые качество и стоимость, а дополнительная польза ИИ не обоснована;

  • невозможно обеспечить контроль доступа и действий, журналирование, остановку сценария, участие человека там, где оно необходимо, и восстановление после ошибочного изменения;

  • для сценария требуется передавать чувствительные данные организации во внешний контур без утверждённой модели защиты.

Приоритет пилота определяется ожидаемым эффектом, доступностью разрешённых данных и интеграций, проверяемостью результата, риском действий и полной стоимостью. Сначала исключают сценарии без допустимого доступа и контроля; затем выбирают задачи с существенной текущей нагрузкой и измеримым результатом. Численный рейтинг полезен только при явных весах критериев: он выражает предпочтения организации, а не объективную зрелость технологии.

 

Экономика, риски и дорожная карта внедрения

По состоянию на октябрь 2026 года на рынке есть предиктивные модели внутри ИБ-продуктов, генеративные ассистенты и агентные функции. Эти подходы часто сочетаются в одном решении. Без сопоставимых данных об эксплуатации нельзя обоснованно утверждать, что большая часть зрелого рынка относится к одной группе. Оценивать нужно конкретную функцию, версию и режим работы: качество, интеграции, контроль действий, поддержку и подтверждённый эффект.

По способу поставки можно выделить встроенные функции существующих ИБ-платформ, специализированные продукты для отдельной задачи и среды создания собственных агентов. Готовый продукт может сократить работу по интеграции и сопровождению; собственная реализация даёт больше контроля над данными и логикой, но требует команды и эксплуатации. Выбор определяется доступностью решения, условиями обработки данных, совместимостью, стоимостью и возможностью заменить модель или поставщика. Для каждой функции нужно уточнять стадию готовности: коммерческий выпуск, предварительная версия для ограниченного тестирования или бета-версия. Отдельно оценивают готовность к опытной и промышленной эксплуатации в организации: выпуск продукта не равен доказанной эффективности.

Статус и зрелость нужно оценивать на уровне отдельной функции. В одной платформе помощник по поиску и триажу может быть доступен для промышленного применения, а агент реагирования — только для ограниченного тестирования. При выборе решения проверяют поддерживаемые источники и инструменты, права агента, ограничения действий, журналирование, возможность остановки и условия сопровождения. Для конкретной организации также важны доступность поставщика и инфраструктуры, размещение данных, совместимость с действующими ИБ-системами и полная стоимость эксплуатации.

Экономика GenAI складывается из стоимости всей системы: модели, инструментов и интеграций, подготовки контекста, хранения состояния, тестирования, безопасности, эксплуатации, экспертной проверки и обучения пользователей. Для агентных задач нужно учитывать повторные попытки, число шагов, задержки и стоимость незавершённых или ошибочно завершённых кейсов. Сравнивать следует стоимость успешно выполненной и проверенной задачи при заданном качестве, а не только цену токенов. Масштабировать стоит сценарии, доказавшие практическую пользу.

Риски включают prompt injection, утечку данных, небезопасную обработку вывода, загрязнение источников, избыточные права, неверные выводы и неконтролируемые затраты. Для агентов добавляются выход за пределы разрешённой задачи, повторное выполнение действий после сбоя и ошибочное объявление задачи завершённой. Ограничения в промпте необходимо подкреплять техническими мерами: минимальными полномочиями, проверкой параметров и целей вызова, изоляцией исполнения, ограничением сетевого доступа и защитой секретов. Журналы также требуют защиты и ограниченного срока хранения. Реальные сбои кибериспытаний показывают, почему заявленная в инструкции изоляция не заменяет техническую границу.

До пилота оценивают допустимость сценария и формулируют гипотезу эффекта; сам пилот проверяет качество и экономику до масштабирования. Минимальный набор условий:

  • задача и границы эксперимента определены, есть ответственный специалист и потребитель результата; для промышленного режима назначены владельцы процесса и системы;

  • есть исходная линия: текущее время выполнения, объём ручной работы, доля ошибок, уровень ложноположительных/ложноотрицательных срабатываний;

  • выбранный подход даёт ожидаемый выигрыш в обработке данных, анализе контекста, генерации артефактов или выполнении проверяемых действий по сравнению с более простым решением;

  • есть доступные и разрешённые данные: логи, инциденты, правила, плейбуки, НМД, результаты работы сканеров, код, запросы, обращения, описания задач;

  • есть тестовый набор обычных, пограничных и негативных кейсов, критерии завершения, приёмки и передачи задачи человеку;

  • предусмотрены права доступа, защита чувствительных данных, журнал выполнения, технический контроль действий, лимиты времени и затрат, остановка и восстановление;

  • заданы ожидаемый эффект, бюджет и условия остановки; экономическую гипотезу проверяют с учётом интеграций, эксплуатации, экспертной проверки и сопровождения.

Для оценки пилота целесообразно фиксировать следующие метрики:

  • скорость: сокращение времени триажа, расследования, подготовки отчёта, обработки бюллетеня угроз, результатов анализа кода или поиска по НМД;

  • качество: доля успешно завершённых задач, точность и полнота по классам, корректность IoC/TTP и свидетельств, ложноположительные и ложноотрицательные результаты, пропуски критичных угроз и необоснованные объявления успеха. При редких угрозах общая доля правильных классификаций может вводить в заблуждение; снижение шума нужно оценивать вместе с полнотой обнаружения;

  • нагрузка на экспертов: время проверки и доработки, доля результатов, принятых без существенных изменений, и частота передачи сложных кейсов человеку;

  • безопасность: результаты испытаний на утечки и prompt injection, число попыток нарушения политики, доля заблокированных нарушений и число действий, ошибочно допущенных контролем; отсутствие наблюдавшихся нарушений само по себе не доказывает безопасность;

  • экономика: полная стоимость успешно выполненного и проверенного кейса, включая инструменты, повторные попытки, экспертную верификацию, инфраструктуру и сопровождение;

  • управляемость: возможность восстановить последовательность действий по журналу, версиям модели и harness, использованным данным и результатам инструментов; корректность остановки, восстановления после сбоя и повторного запуска без дублирования изменений. Это не требует дословно одинаковых ответов модели при каждом запуске.

Дорожная карта включает последовательные решения о допуске. Сначала выбирают задачу и фиксируют исходную линию. Затем проверяют решение на исторических и негативных кейсах в пределах бюджета. Следующий этап — работа в режиме наблюдения и сопоставление с действующим процессом. После приёмки допускают ограниченное применение с мониторингом и выборочным аудитом. Масштабирование и расширение действий разрешают только при сохранении заданных качества, риска и стоимости; неудовлетворительный результат приводит к доработке, сужению области или остановке.

Испытания проводят в два этапа: сравнивают модели при одинаковых данных и инструментах, затем — системы с harness, настроенным под каждую модель, при сопоставимых лимитах времени и вычислений. Фиксируют версии, настройки рассуждения, число попыток и ограничения. Повторные прогоны выявляют нестабильность; отдельные кейсы сохраняют для итоговой проверки. Бюджет выполнения влияет на измеряемые способности агента. Обновление модели, инструментов, источников или политик требует повторной проверки затронутых сценариев.

Недостаточно оценивать только качество ответа. После запуска нужно отслеживать пропуски, выборочно проверять автоматически закрытые кейсы и повторять испытания при изменении данных и угроз. Человек также может чрезмерно доверять отрицательному заключению агента: в исследовании фишингового триажа участники чаще пропускали искусственно смоделированные ложные отрицательные рекомендации. Способ экспертной проверки должен учитывать этот риск.

Практический результат внедрения — измеримое улучшение работы при приемлемом риске и полной стоимости. Для эксперимента достаточно ограниченного, проверяемого сценария; для промышленного режима нужны устойчивые данные, ответственность, технические ограничения и эксплуатационный контроль. Расширять автономность следует по результатам испытаний, сохраняя возможность ограничить или отключить сценарий.


[1] В работе с ИИ термин стал активно использоваться в 2025–2026 годах Здесь под ним понимается программная «обвязка» вокруг языковой модели (например, LLM).

Похожие статьи

Статья

Искусственный интеллект: земные проблемы на фоне эволюции Вселенной

Статья

«Искусственный интеллект — это прежде всего инструмент в руках человека»

Статья

ZTNA через ADKAR

Статья

Российские компактные МСЭ для офиса и филиала

  1. 05 Шесть вопросов к сетевой безопасности в России
  2. 06 «Важно уметь отличать мИИфологию от реальности. В США генеративный ИИ пока генерирует, главным образом, убытки и долги»
  3. 07 Гонка за суперинтеллектом на распутье: инициативупо контролю над LLM встретили с подозрительностью и скепсисом
  4. 08 Отягощённое интеллектом. Сложности испытательной лаборатории при оценке защищённости программного обеспечения, разработанного с использованием ИИ
  5. 09 Атаки на извлечение обучающих данных. Почему нейросеть может «проболтаться» о том, чему её учили
  6. 10 ИИ-безопасность становится реальностью. Российский бизнес на пороге новых киберрисков
ИИ-ассистент BISонлайн
Привет! Я помогу разобраться в материалах журнала. Хотите, перескажу текущую статью за 20 секунд?
Рекомендую прочитать
«Как построить SOC в 2026»