Доверенный интеллект: начало пути

Доверенный интеллект: начало пути

25 мая 2023 г. в Москве, в технологической долине МГУ «Воробьевы горы» прошел первый форум «Цифровая экономика: Технологии доверенного искусственного интеллекта», организованный АНО «Национальный технологический центр цифровой криптографии», Академией криптографии Российской Федерации, Институтом системного программирования им. В. П. Иванникова РАН при поддержке Министерства цифрового развития, связи и массовых коммуникаций РФ. Оператором Форума выступила Медиа Группа «Авангард».

В Форуме приняли участие около 400 представителей профильных государственных ведомств, ведущие исследователи в области технологий искусственного интеллекта (ИИ) и машинного обучения (МО), криптографии и информационной безопасности, а также специалисты технологических компаний и университетов, реализующих успешные проекты в области ИИ. Свои доклады представили представители научных школ и компаний из Москвы, Томска и Санкт-Петербурга.

Участники мероприятия обсудили вопросы создания систем доверенного ИИ, безопасность данных и ИИ, атаки на системы ИИ и методы защиты, поделились результатами применения технологий искусственного интеллекта при использовании биометрических данных и обеспечении ИБ.

Приветствия участникам Форума

С приветственным словом к участникам Форума обратился ректор МГУ им. М. В. Ломоносова Виктор Садовничий, его зачитал модератор сессии Арутюн Аветисян, директор Института системного программирования им. В. П. Иванникова РАН.

Виктор Садовничий отметил важность и актуальность темы ИИ в рамках программы цифровизации России, сотрудничает с государством и бизнесом. МГУ им. М. В. Ломоносова придает этой теме большое значение, движется к освоению, в профильные учебные программы университета уже включены направления подготовки специалистов по искусственному интеллекту. Третий год идет работа над проектом «Мозг и информация: от естественного интеллекта к искусственному». Сформирован диссертационный совет, который включает специальность «Искусственный интеллект и машинное обучение».

Трудно переоценить роль технологий искусственного интеллекта, это эффективный алгоритм, облегчающий обработку больших данных. Однако есть и издержки технического прогресса: генерируются изображения, которые трудно отличить от реальных, синтезированный голос можно спутать с человеческим, появились фальсификации научных работ. Возникают вопросы безопасности искусственного интеллекта, его моделей и сгенерированных им данных, защиты персональных данных. Они поднимаются и рассматриваются в общественных обсуждениях и научной среде. Данная конференция должна расширить представления о проблемах и возможностях в области ИБ и доверия при использовании ИИ, считает Виктор Садовничий

Михаил Федоров, представивший Научно-техническую службу ФСБ России, отметил, что его ведомство исторически уделяет значительное внимание развитию ИИ в части ИБ. Он зачитал приветственное слово к участникам мероприятия Андрея Ивашко, первого заместителя руководителя Научно-технической службы ФСБ России.

Россия переживает глубокую трансформацию, вызванную активным внедрение информационных технологий, среди которых наиболее важную роль играет ИИ, говорится в обращении. Связанные с его внедрением ожидания — повышение производительности труда, улучшения качества сервиса — напрямую связаны с вопросами защиты персональных данных граждан, гарантий прав и свобод граждан.

Первые шаги по выработке комплексного подхода к вопросам ИИ уже сделаны в рамках федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации. Академией криптографии России создается научная база для разработки современных защищенных технологий и ИИ, применяемых в ГИС. В 2021 г. на базе ИСП РАН создан «Центр доверенного искусственного интеллекта», ведется регулирования жизненного цикла систем ИИ и разработка соответствующих требований.

Успех программ и начинаний максимально зависит от участия научного сообщества, ФОИВ, технологических компаний. Проведение первой конференции, посвященной ИИ, — существенный шаг в данном направлении.

Ключевая дискуссия. Начало положено

В рамках форума «Цифровая экономика: Технологии доверенного искусственного интеллекта» состоялась Ключевая дискуссия «Доверенный искусственный интеллект», участие в которой приняли представители регуляторных органов, научных и финансовых организаций, ведущих компаний в области кибербезопасности и больших данных.

Модератор дискуссии Арутюн Аветисян отметил, что в 11 мая Европарламент сделал важный шаг к принятию AI Act, регулирующего искусственный интеллект. Документ выделяется три категории систем ИИ в зависимости от уровня риска:

1. Неприемлемый риск;
2. Высокий риск;
3. Средний или минимальный риск.

Основной акцент в документе сделан на первых двух категориях. В России также активно ведется работа по созданию доверенного искусственного интеллекта. Многие компании подписали «Этику ИИ», взяв на себя обязательства по минимизации рисков, связанных с внедрением ИИ. Важна не только узкая регуляторная политика, например, есть 60 отраслевых стандартов ИИ, но и широкий взгляд на вопрос, отметил директор ИСП РАН.

Александр Шойтов, заместитель министра цифрового развития, связи и массовых коммуникаций РФ, президент Академии криптографии РФ, отметил, что в России накопился достаточный потенциал в области исследований ИИ, компетенции в ИБ и доверия ИИ, есть компании, которые ведут разработки в этих сферах.

«Искусственный интеллект и большие данные — точки роста нашей экономики с учетом того, что у нас технологический приоритет ИИ давно был», — отметил Александр Шойтов. Внедрение вычислительной техники, ее совершенствование, массовое распространение техники, когда каждый смартфон — мощный супервычислитель — дало толчок развитию ИИ. Это произошло само, некая синергия. Многие задачи связаны с большими данными Применительно к ним искусственный интеллект дает сильный эффект.

Однако возникаю вопросы, что такое ИИ. В первую очередь, это программное обеспечение, считает Александр Шойтов. Однако, это ПО менее формализованное, сложно разделить, где данные, где код, где программы. Отдельная проблема — как интерпретировать результаты ИИ.

Массовое внедрение технологии дало и другой эффект — риски безопасности, среди них есть два базовых: неправильное функционирование ИИ и возможные утечки данных. В особо критических сферах нужен доверенный ИИ и информационная безопасность применительно к ИИ.

«Эта тема сложная, ею больше всего занимаются», — отметил заместитель главы Минцифры. Он отметил, что помимо ИСП РАН, сотрудники которой занимаются вопросами доверенного ИИ, и Академии криптографии, которая введет теоретические работы по ИИ и его информационной безопасности, к решению вопросов подключается недавно созданное АНО «НТЦЦК». Среди целей и задач, которые поставлены перед Центром — массовое внедрение методов криптографии и примыкающих к ним методов ИБ, в т. ч. организация взаимодействия науки и практики, прикладные исследования, создание работающих моделей ИИ с использованием методов защиты информации.

В РФ есть компетенции в разработке ИИ, есть государственные организации и учебные заведения, которые ведут исследования в области ИИ. Поэтому организаторы решили провести эту конференцию, совместить научные и прикладные исследования, предоставить технические результаты, компетенции для взаимодействия специалистов по ИБ, вынести в открытое обсуждение вопросы и проблемы тех, кто сам разрабатывает собственно ИИ, позиционировать потенциал и организовать соответствующее взаимодействие всех участников процесса, — подчеркнул Александр Шойтов.

«Технологии ИИ — сложные, возможны атаки на всех этапах жизненного цикла: когда берете какую-то модель, готовую или которую готовите сами, когда их обучаете, эксплуатируете», — отметил ректор Академии криптографии. — «Критичные моменты — передача управления ИИ, передача принятия решения. И где сферы, где есть персональные данные. Обрабатывать их можно с согласия гражданина. … надо идти от технологий, использовать методы зашумления, синтетических данных. Методы, которые гарантируют невозможность восстановления данных». Он отметил, что законопроект по использованию персональных данных для ИИ находится на рассмотрении в Госдуме. Предполагается, что широкое внедрение обезличенных данных будет внедрено в конце 2024 г.

Большие данные — большие вопросы

Анна Серебряникова, президент Ассоциация больших данных, напомнила собравшимся, что с 2018 г., когда была создана организация, созданы наработки в области ИИ. Но главные цели — продвижение российского технологического бизнеса и конкуренция с глобальными игроками. Отечественные финансовые и телекоммуникационные организации, технологические компании развиваются на уровне ключевых мировых игроков.

Говоря о регулирование ИИ в США, ЕС или КНР, спикер подчеркнула, что нельзя допустить, чтобы регуляторная политика остановила технологический прогресс, поскольку рост экономики России — в цифровой сфере.

К вопросам этики ИИ обратился Максим Еременко, вице-президент — директор департамента развития технологий искусственного интеллекта и машинного обучения ПАО Сбербанк. Технологии GPT позволили вывести чат-боты в массы. Вышла модель для синтеза изображений по текстовым описаниям Kandinsky 2.0, разработанная и открытая для массового использования Сбером. И у ее создателей возникли вопросы в части ограничений контента на вход и на выход, регулирования информации и этичности выдаваемого результата. «Правила должны быть определены и масштабированы по мере развития технологий», — считает представитель Сбера.

Другая проблема — обработка больших данных и их безопасность, поскольку велика вероятность восстановления исходных данных даже при их обезличивании, поскольку значительно выросло число утечек персональных данных из различных компаний. «Требования к ИБ внутри компании ужесточились», — отметил Максим Еременко.

Возник новый тип неопределенности, которого не было еще несколько лет назад, он требует непосредственного и пристального внимания руководства компании и специалистов по ИБ.

Банковский сектор сильно зарегулирован и риски оказывают сильное влияние на капитал. Финансовые организации серьезно рассматривают вопрос регламентации работы с данными. ВТБ вкладывает средства в развитие технологий искусственного интеллекта и машинного обучения, что во много обусловлено появлением больших наборов данных и моделей работы с ними, отметил вице-президент Банк ВТБ Сергей Голицын. Банк ВТБ совместно с МФТИ работает над полностью импортонезависимой реализацией технологии криптографических анклавов, включающей полный цикл автоматизации процесса разработки и применения моделей машинного обучения. Разработанный программно-аппаратный комплекс будет применим для максимально широкого круга отраслей и задач. Банк ВТБ готовится согласовать свой разработки с ФСТЭК России, поскольку считает их важными для внедрения в различных отраслях экономики.

«Лаборатория Касперского» является партнером Центра доверенного интеллекта, отметил Андрей Духвалов, вице-президент, руководитель управления перспективных технологий ЛК. Это социальная ответственность компании и ее бизнес, выгодный как организации, так и обществу.

Новые достижения порождают новые проблемы

Вопросы доверия к технологиям машинного обучения остро встали с развитием ИИ, они показали себя крайне эффективными, однако принесли новые проблемы. Проблемы разные — и морально-этические, и вопросы интеллектуальной собственности, и технические вопросы, — считает Андрей Духвалов. Он отметил, что настоящая дискуссия формулирует вопросы, однако ответы на них будут даны по мере накапливания опыта, в т. ч. с учетом вопросов регуляторной политики. Тотальный запрет приведет к прекращению развития систем ИИ и миграции разработчиков в другие юрисдикции, как произошло в странах ЕС при ужесточении законодательства. При этом следует учитывать и отраслевые аспекты.

Завершивший Ключевую дискуссию Виталий Лютиков, заместитель директора ФСТЭК России, подводя итоги дискуссии, отметил, что страна находится в начале пути построения доверенного интеллекта. По его мнению, в ближайшие 2-3 года не стоит ожидать построения доверенного ИИ, компании должны находиться в этой парадигме. «Риск-ориентированный подход, модели угроз, нарушителей, риски принимать и т. д. — у нас хороший такой пример, принятия рисков, схема на практике не всегда хорошо работает», — подчеркнул представитель ФСТЭК. — «С точки зрения государства и безопасности, показательный документ, который работает – показатели в критической информационной инфраструктуре. Если система ИИ и ее нарушение функционирования приводит к нарушению законодательству, то ее применять нельзя. Ущерб жизни и здоровью, нарушено функционирование ФОИВ на протяжении некоторого времени — нельзя».

Доверенный и недоверенный — терминология, отметил Виталий Лютиков. Он считает, что ограничивающие факторы лежат в технологической сфере. Возникают вопросы к программному и аппаратному обеспечению, нет методик анализа кода, верификации данных и проверки моделей — в широкой секторе такие работы не ведутся. Нет системы специалистов по безопасности ИИ. Пока по этим направлениям не идут практические работы, говорить о доверии к ИИ нет смысла. «Мы на начальном пути и надо ответить на поставленные вопросы», — считает представитель ФСТЭК.

Тематические сессии длились до вечера. Доклады по различным аспектам применения ИИ и МО, обработки больших данных, а также кибератакам на системы ИИ и методам защиты вызвали бурное обсуждение участников Форума. Они выразили надежду, что мероприятие получит продолжение в следующем году.