19 ноября 2026 / время чтения: 8 мин. / всего просмотров: 19
Доверенный ИИ: от научной проблемы к промышленной платформе
Руководителю редко предлагают купить «недоверенный» искусственный интеллект (ИИ). В презентациях модели точны, платформы универсальны, а безопасность обеспечивается фильтрацией запросов, разграничением доступа и мониторингом.
Проблемы проявляются после внедрения: обновление модели меняет качество ответов, изменения в промптах и правилах работы системы вносятся без оценки их влияния на безопасность, а ИИ-агенты получают избыточные полномочия. У заказчика при этом зачастую нет ни результатов исходных испытаний, ни механизма повторной проверки. Поэтому предметом закупки должна становиться система с проверяемыми характеристиками качества, надёжности и безопасности на протяжении всего её жизненного цикла.
Где кончается хайп и начинается научная проблема
Дискуссия о доверенном ИИ нередко сопровождается завышенными ожиданиями. Невозможно гарантировать полное отсутствие ошибок и галлюцинаций или безопасность модели при любых условиях эксплуатации. Нет и универсального показателя доверенности: одна и та же ошибка может быть допустимой в рекомендательном сервисе, но критической для системы управления технологическим объектом. Поэтому доверие должно основываться на анализе рисков и проверяемых свойствах конкретной системы с учётом условий её применения [1].
Главный научный вызов заключается в отсутствии универсальной математической теории, позволяющей предсказывать поведение сложных систем ИИ и устанавливать гарантии их безопасности и надёжности. Теоретические результаты машинного обучения (Machine Learning, ML) охватывают преимущественно отдельные свойства моделей и классы задач. В общем случае мы не можем формально установить, как поведёт себя система в произвольных условиях. Поэтому важнейшее направление исследований — методы оценки, подтверждения и обеспечения заданных характеристик ИИ в определённых условиях применения [3].
Проблема усиливается, если рассмотреть обеспечение доверенности в реальных условиях эксплуатации. Модели дообучаются, данные обновляются, меняются программные компоненты и внешние зависимости. Универсальных методов оценки влияния таких изменений на систему в целом пока нет. Открытой остаётся задача определения условий, при которых ранее установленные свойства и гарантии сохраняются без полного воспроизведения всех испытаний. При этом улучшение одних характеристик может ухудшать другие: например, повышение интерпретируемости моделей в некоторых условиях облегчает подготовку атак.
Новые научные вызовы возникают с развитием агентных и мультиагентных систем, где решения моделей непосредственно определяют действия, в том числе обращения к другим моделям. Возникают риски превышения полномочий, несанкционированного использования внешних инструментов, атак через обрабатываемые данные и распространения ошибок между агентами. Обеспечение безопасности требует исследования как отдельных моделей, так и механизмов их взаимодействия с программным окружением и друг с другом.
Стандарт РБПО для систем искусственного интеллекта
Решение фундаментальных научных проблем требует длительных исследований. Однако уже сегодня необходимо обеспечивать контролируемое применение ИИ бизнесом. Ключевым фактором становится стандартизация процессов разработки, испытаний и сопровождения систем ИИ.
Российская практика разработки безопасного программного обеспечения (РБПО) даёт основу для промышленного применения этих методов. ГОСТ Р 56939–2024 (и семейство расширяющих стандартов в области РБПО, разрабатываемых в ТК362) устанавливает требования к процессам создания безопасного ПО и устранения уязвимостей [2]. Однако поведение системы ИИ определяется не только кодом, но и обучающими данными, параметрами модели и условиями её применения. Проверка только программного кода необходима, но недостаточна.
ИСП РАН совместно со ФСТЭК России и Сбером подготовил проект стандарта РБПО для программного обеспечения, реализующего технологии ИИ. К 25 базовым процессам добавлены два специфичных: управление наборами данных и безопасное обучение моделей. Ещё 13 процессов уточняются с учётом специфики ИИ, включая управление требованиями, моделирование угроз, архитектуру, защиту цепочек поставки, тестирование и поиск уязвимостей на этапе эксплуатации. Данные и модели становятся управляемыми артефактами наряду с исходным кодом.
Стандарт формирует единые требования к разработчикам и поставщикам ИИ: управление версиями и происхождением данных, моделирование угроз, документирование испытаний и критериев допуска моделей в эксплуатацию. Стандартизация создаёт основу для промышленного рынка доверенного ИИ. Заказчики получают минимальные требования к поставщикам, разработчики — понятные требования к процессам, а испытательные организации — основу для независимой оценки.
Комплексный подход ИСП РАН
В ИСП РАН более 20 лет ведутся исследования и разработки в области ИИ: анализ текстов, изображений и графов, машинное обучение, извлечение знаний и построение информационно-аналитических систем. Сегодня эти направления объединяются в рамках комплексного подхода, сочетающего технологии гибридного ИИ, управление данными и знаниями и методы обеспечения доверия.
Одним из ключевых проектов ИСП РАН является Talisman — модульная low-code платформа для создания интеллектуальных информационно-аналитических и корпоративных систем. Она объединяет средства интеграции и обработки разнородных данных, формирования предметно-ориентированных баз знаний, гибридного поиска и аналитики. Платформа позволяет совместно использовать базы знаний и правил, классические методы машинного обучения, большие языковые модели и интеллектуальных агентов, обеспечивая интеграцию с корпоративными системами и автоматизацию бизнес-процессов. Особое внимание уделяется прослеживаемости происхождения знаний, обоснованию аналитических результатов и масштабируемости решений.
При разработке Talisman мы больше десяти лет назад впервые столкнулись с дрейфом данных, неустойчивостью результатов и необходимостью регулярного обновления моделей. Особенно сложным оказалось сопровождение систем в закрытых контурах заказчиков, где разработчик не имеет доступа к данным. Решение этих проблем привело к созданию инструментов управления жизненным циклом моделей, автоматизации обновлений и контроля качества — технологий, относящихся сегодня к MLOps.
В 2021 году в рамках федерального проекта «Искусственный интеллект» мы создали Исследовательский центр доверенного ИИ [4], объединив накопленный опыт с компетенциями в РБПО. Его задача — разработка методик, методов и инструментов обеспечения безопасности и надёжности данных, моделей и программной инфраструктуры. Так наш стек расширился до MLSecOps, включающего безопасность в процессы работы с моделями.
Мы развиваем научные методы и технологическую основу для создания сложных систем ИИ, в которых функциональные возможности, безопасность и надёжность проектируются совместно и контролируются на протяжении всего жизненного цикла. При этом промышленные внедрения наших технологий позволяют проверять создаваемые инструменты на практике.
Технологический стек вместо набора демонстраций
Технологический стек ИСП РАН включает три взаимодополняющих компонента: платформу управления жизненным циклом моделей MLOps/MLSecOps, инструменты обеспечения безопасности и надёжности ИИ, а также интеграционную платформу Talisman для создания интеллектуальных информационно-аналитических систем.
Первый компонент — собственная платформа MLOps/MLSecOps для управления жизненным циклом моделей: от подготовки данных и обучения до испытаний и эксплуатации. В отличие от традиционных MLOps-решений, особое внимание уделяется интеграции механизмов обеспечения доверия в процессы разработки. Платформа поддерживает различные инструменты и вычислительные среды, включая Slurm, управление версиями данных, моделей и программных компонентов, формирование перечня компонентов системы ИИ (MLBoM), сохранение результатов испытаний и повторное тестирование после изменений. Это обеспечивает воспроизводимость проверок и прослеживаемость изменений.
Второй компонент — технологии обеспечения безопасности и надёжности ИИ: стресс-тестирование моделей, защита от состязательных атак и вредоносных закладок, механизмы для контроля запросов и ответов (guardrails), обнаружение галлюцинаций и анализ безопасности агентов. Отдельное направление — создание доверенных версий популярных открытых фреймворков TensorFlow, PyTorch и llama.cpp, которые мы проанализировали средствами и практиками РБПО. В исходных фреймворках и связанных проектах мы обнаружили и исправили десятки ошибок; большинство исправлений принято сообществом разработчиков, а мы продолжаем осуществлять поддержку доверенных версий этих инструментов.
Третий компонент — платформа Talisman, которая позволяет встраивать разработанные методы обеспечения доверия в реальные аналитические и бизнес-процессы, связывая результаты работы ИИ с предметными данными, действиями пользователей и требованиями к эксплуатации. Таким образом, технологии доверия становятся не самостоятельными инструментами проверки, а частью промышленного решения.
Основной принцип построения технологического стека ИСП РАН заключается в объединении технологий создания систем ИИ, управления их жизненным циклом и обеспечения безопасности и надёжности в единое решение. При этом используются и развиваются методология и инструменты РБПО — направления, в котором ИСП РАН занимает ведущие позиции в России.
Как исследовательская технология становится продуктом
ИСП РАН как научный институт разрабатывает технологии, создаёт прототипы и проводит испытания. Превращение этих результатов в промышленный продукт требует адаптации к задачам заказчика, интеграции с его инфраструктурой и сопровождения. Поэтому мы развиваем решения совместно с индустриальными партнёрами, объединяя научную экспертизу с компетенциями промышленной разработки.
В этой модели заказчик определяет бизнес-задачу, допустимые риски и критерии приёмки; институт обеспечивает научно-технологическую основу, а партнёры — реализацию и внедрение продукта. Ответственность за поддержку, контроль изменений и повторные испытания должна быть определена заранее. Это позволяет связать проверку технологии с требованиями её реальной эксплуатации.
Заключение
Доверенный ИИ — это не обещание отсутствия ошибок, а способность обоснованно оценивать риски, подтверждать свойства системы и контролировать их при изменении условий эксплуатации. Для промышленного применения необходим переход от отдельных методов проверки и защиты к комплексным технологиям, объединяющим разработку интеллектуальных систем, управление данными и обеспечение доверия. Именно такой подход реализуется в ИСП РАН, позволяя превращать научные результаты в промышленные решения с проверяемыми характеристиками.
Литература
О развитии искусственного интеллекта в Российской Федерации: Указ Президента Российской Федерации от 10 октября 2019 года № 490 (ред. от 15 февраля 2024 года № 124).
ГОСТ Р 56939–2024. Защита информации. Разработка безопасного программного обеспечения. Общие требования. Москва, Российский институт стандартизации, 2024 год.
Турдаков Д. Ю., Аветисян А. И. и др. Доверенный искусственный интеллект: вызовы и перспективные решения // Доклады Российской академии наук. Математика, информатика, процессы управления. 2022 год. Т. 508, № 1. С. 13–18.
Дмитрий Чернышенко: Шесть исследовательских центров по искусственному интеллекту получат федеральные гранты до 1 млрд рублей // Правительство России: официальный сайт. 2021 год. URL: http://government.ru/news/43424/ (дата обращения: 18 октября 2026 года).