30 мая, 2023

Доверенный интеллект: начало пути

25 мая 2023 г. в Москве, в технологической долине МГУ «Воробьевы горы» прошел первый форум «Цифровая экономика: Технологии доверенного искусственного интеллекта», организованный АНО «Национальный технологический центр цифровой криптографии», Академией криптографии Российской Федерации, Институтом системного программирования им. В. П. Иванникова РАН при поддержке Министерства цифрового развития, связи и массовых коммуникаций РФ. Оператором Форума выступила Медиа Группа «Авангард».

В Форуме приняли участие около 400 представителей профильных государственных ведомств, ведущие исследователи в области технологий искусственного интеллекта (ИИ) и машинного обучения (МО), криптографии и информационной безопасности, а также специалисты технологических компаний и университетов, реализующих успешные проекты в области ИИ. Свои доклады представили представители научных школ и компаний из Москвы, Томска и Санкт-Петербурга.

Участники мероприятия обсудили вопросы создания систем доверенного ИИ, безопасность данных и ИИ, атаки на системы ИИ и методы защиты, поделились результатами применения технологий искусственного интеллекта при использовании биометрических данных и обеспечении ИБ.

 

Приветствия участникам Форума

С приветственным словом к участникам Форума обратился ректор МГУ им. М. В. Ломоносова Виктор Садовничий, его зачитал модератор сессии Арутюн Аветисян, директор Института системного программирования им. В. П. Иванникова РАН.

Виктор Садовничий отметил важность и актуальность темы ИИ в рамках программы цифровизации России, сотрудничает с государством и бизнесом. МГУ им. М. В. Ломоносова придает этой теме большое значение, движется к освоению, в профильные учебные программы университета уже включены направления подготовки специалистов по искусственному интеллекту. Третий год идет работа над проектом «Мозг и информация: от естественного интеллекта к искусственному». Сформирован диссертационный совет, который включает специальность «Искусственный интеллект и машинное обучение».

Трудно переоценить роль технологий искусственного интеллекта, это эффективный алгоритм, облегчающий обработку больших данных. Однако есть и издержки технического прогресса: генерируются изображения, которые трудно отличить от реальных, синтезированный голос можно спутать с человеческим, появились фальсификации научных работ. Возникают вопросы безопасности искусственного интеллекта, его моделей и сгенерированных им данных, защиты персональных данных. Они поднимаются и рассматриваются в общественных обсуждениях и научной среде. Данная конференция должна расширить представления о проблемах и возможностях в области ИБ и доверия при использовании ИИ, считает Виктор Садовничий

Михаил Федоров, представивший Научно-техническую службу ФСБ России, отметил, что его ведомство исторически уделяет значительное внимание развитию ИИ в части ИБ. Он зачитал приветственное слово к участникам мероприятия Андрея Ивашко, первого заместителя руководителя Научно-технической службы ФСБ России.

Россия переживает глубокую трансформацию, вызванную активным внедрение информационных технологий, среди которых наиболее важную роль играет ИИ, говорится в обращении. Связанные с его внедрением ожидания — повышение производительности труда, улучшения качества сервиса — напрямую связаны с вопросами защиты персональных данных граждан, гарантий прав и свобод граждан.

Первые шаги по выработке комплексного подхода к вопросам ИИ уже сделаны в рамках федерального проекта «Искусственный интеллект» национальной программы «Цифровая экономика Российской Федерации. Академией криптографии России создается научная база для разработки современных защищенных технологий и ИИ, применяемых в ГИС. В 2021 г. на базе ИСП РАН создан «Центр доверенного искусственного интеллекта», ведется регулирования жизненного цикла систем ИИ и разработка соответствующих требований.

Успех программ и начинаний максимально зависит от участия научного сообщества, ФОИВ, технологических компаний. Проведение первой конференции, посвященной ИИ, — существенный шаг в данном направлении.

 

Ключевая дискуссия. Начало положено

В рамках форума «Цифровая экономика: Технологии доверенного искусственного интеллекта» состоялась Ключевая дискуссия «Доверенный искусственный интеллект», участие в которой приняли представители регуляторных органов, научных и финансовых организаций, ведущих компаний в области кибербезопасности и больших данных.

Модератор дискуссии Арутюн Аветисян отметил, что в 11 мая Европарламент сделал важный шаг к принятию AI Act, регулирующего искусственный интеллект. Документ выделяется три категории систем ИИ в зависимости от уровня риска:

  1. Неприемлемый риск;
  2. Высокий риск;
  3. Средний или минимальный риск.

Основной акцент в документе сделан на первых двух категориях. В России также активно ведется работа по созданию доверенного искусственного интеллекта. Многие компании подписали «Этику ИИ», взяв на себя обязательства по минимизации рисков, связанных с внедрением ИИ. Важна не только узкая регуляторная политика, например, есть 60 отраслевых стандартов ИИ, но и широкий взгляд на вопрос, отметил директор ИСП РАН.

Александр Шойтов, заместитель министра цифрового развития, связи и массовых коммуникаций РФ, президент Академии криптографии РФ, отметил, что в России накопился достаточный потенциал в области исследований ИИ, компетенции в ИБ и доверия ИИ, есть компании, которые ведут разработки в этих сферах.

«Искусственный интеллект и большие данные — точки роста нашей экономики с учетом того, что у нас технологический приоритет ИИ давно был», — отметил Александр Шойтов. Внедрение вычислительной техники, ее совершенствование, массовое распространение техники, когда каждый смартфон — мощный супервычислитель — дало толчок развитию ИИ. Это произошло само, некая синергия. Многие задачи связаны с большими данными Применительно к ним искусственный интеллект дает сильный эффект.

Однако возникаю вопросы, что такое ИИ. В первую очередь, это программное обеспечение, считает Александр Шойтов. Однако, это ПО менее формализованное, сложно разделить, где данные, где код, где программы. Отдельная проблема — как интерпретировать результаты ИИ.

Массовое внедрение технологии дало и другой эффект — риски безопасности, среди них есть два базовых: неправильное функционирование ИИ и возможные утечки данных. В особо критических сферах нужен доверенный ИИ и информационная безопасность применительно к ИИ.

«Эта тема сложная, ею больше всего занимаются», — отметил заместитель главы Минцифры. Он отметил, что помимо ИСП РАН, сотрудники которой занимаются вопросами доверенного ИИ, и Академии криптографии, которая введет теоретические работы по ИИ и его информационной безопасности, к решению вопросов подключается недавно созданное АНО «НТЦЦК». Среди целей и задач, которые поставлены перед Центром — массовое внедрение методов криптографии и примыкающих к ним методов ИБ, в т. ч. организация взаимодействия науки и практики, прикладные исследования, создание работающих моделей ИИ с использованием методов защиты информации.

В РФ есть компетенции в разработке ИИ, есть государственные организации и учебные заведения, которые ведут исследования в области ИИ. Поэтому организаторы решили провести эту конференцию, совместить научные и прикладные исследования, предоставить технические результаты, компетенции для взаимодействия специалистов по ИБ, вынести в открытое обсуждение вопросы и проблемы тех, кто сам разрабатывает собственно ИИ, позиционировать потенциал и организовать соответствующее взаимодействие всех участников процесса, — подчеркнул Александр Шойтов.

«Технологии ИИ — сложные, возможны атаки на всех этапах жизненного цикла: когда берете какую-то модель, готовую или которую готовите сами, когда их обучаете, эксплуатируете», — отметил ректор Академии криптографии. — «Критичные моменты — передача управления ИИ, передача принятия решения. И где сферы, где есть персональные данные. Обрабатывать их можно с согласия гражданина. … надо идти от технологий, использовать методы зашумления, синтетических данных. Методы, которые гарантируют невозможность восстановления данных». Он отметил, что законопроект по использованию персональных данных для ИИ находится на рассмотрении в Госдуме. Предполагается, что широкое внедрение обезличенных данных будет внедрено в конце 2024 г.

 

Большие данные — большие вопросы

Анна Серебряникова, президент Ассоциация больших данных, напомнила собравшимся, что с 2018 г., когда была создана организация, созданы наработки в области ИИ. Но главные цели — продвижение российского технологического бизнеса и конкуренция с глобальными игроками. Отечественные финансовые и телекоммуникационные организации, технологические компании развиваются на уровне ключевых мировых игроков.

Говоря о регулирование ИИ в США, ЕС или КНР, спикер подчеркнула, что нельзя допустить, чтобы регуляторная политика остановила технологический прогресс, поскольку рост экономики России — в цифровой сфере.

К вопросам этики ИИ обратился Максим Еременко, вице-президент — директор департамента развития технологий искусственного интеллекта и машинного обучения ПАО Сбербанк. Технологии GPT позволили вывести чат-боты в массы. Вышла модель для синтеза изображений по текстовым описаниям Kandinsky 2.0, разработанная и открытая для массового использования Сбером. И у ее создателей возникли вопросы в части ограничений контента на вход и на выход, регулирования информации и этичности выдаваемого результата. «Правила должны быть определены и масштабированы по мере развития технологий», — считает представитель Сбера.

Другая проблема — обработка больших данных и их безопасность, поскольку велика вероятность восстановления исходных данных даже при их обезличивании, поскольку значительно выросло число утечек персональных данных из различных компаний. «Требования к ИБ внутри компании ужесточились», — отметил Максим Еременко.

Возник новый тип неопределенности, которого не было еще несколько лет назад, он требует непосредственного и пристального внимания руководства компании и специалистов по ИБ.

Банковский сектор сильно зарегулирован и риски оказывают сильное влияние на капитал. Финансовые организации серьезно рассматривают вопрос регламентации работы с данными. ВТБ вкладывает средства в развитие технологий искусственного интеллекта и машинного обучения, что во много обусловлено появлением больших наборов данных и моделей работы с ними, отметил вице-президент Банк ВТБ Сергей Голицын. Банк ВТБ совместно с МФТИ работает над полностью импортонезависимой реализацией технологии криптографических анклавов, включающей полный цикл автоматизации процесса разработки и применения моделей машинного обучения. Разработанный программно-аппаратный комплекс будет применим для максимально широкого круга отраслей и задач. Банк ВТБ готовится согласовать свой разработки с ФСТЭК России, поскольку считает их важными для внедрения в различных отраслях экономики.

«Лаборатория Касперского» является партнером Центра доверенного интеллекта, отметил Андрей Духвалов, вице-президент, руководитель управления перспективных технологий ЛК. Это социальная ответственность компании и ее бизнес, выгодный как организации, так и обществу.

 

Новые достижения порождают новые проблемы

Вопросы доверия к технологиям машинного обучения остро встали с развитием ИИ, они показали себя крайне эффективными, однако принесли новые проблемы. Проблемы разные — и морально-этические, и вопросы интеллектуальной собственности, и технические вопросы, — считает Андрей Духвалов. Он отметил, что настоящая дискуссия формулирует вопросы, однако ответы на них будут даны по мере накапливания опыта, в т. ч. с учетом вопросов регуляторной политики. Тотальный запрет приведет к прекращению развития систем ИИ и миграции разработчиков в другие юрисдикции, как произошло в странах ЕС при ужесточении законодательства. При этом следует учитывать и отраслевые аспекты.

Завершивший Ключевую дискуссию Виталий Лютиков, заместитель директора ФСТЭК России, подводя итоги дискуссии, отметил, что страна находится в начале пути построения доверенного интеллекта. По его мнению, в ближайшие 2-3 года не стоит ожидать построения доверенного ИИ, компании должны находиться в этой парадигме. «Риск-ориентированный подход, модели угроз, нарушителей, риски принимать и т. д. — у нас хороший такой пример, принятия рисков, схема на практике не всегда хорошо работает», — подчеркнул представитель ФСТЭК. — «С точки зрения государства и безопасности, показательный документ, который работает – показатели в критической информационной инфраструктуре. Если система ИИ и ее нарушение функционирования приводит к нарушению законодательству, то ее применять нельзя. Ущерб жизни и здоровью, нарушено функционирование ФОИВ на протяжении некоторого времени — нельзя».

Доверенный и недоверенный — терминология, отметил Виталий Лютиков. Он считает, что ограничивающие факторы лежат в технологической сфере. Возникают вопросы к программному и аппаратному обеспечению, нет методик анализа кода, верификации данных и проверки моделей — в широкой секторе такие работы не ведутся. Нет системы специалистов по безопасности ИИ. Пока по этим направлениям не идут практические работы, говорить о доверии к ИИ нет смысла. «Мы на начальном пути и надо ответить на поставленные вопросы», — считает представитель ФСТЭК.

 

Тематические сессии длились до вечера. Доклады по различным аспектам применения ИИ и МО, обработки больших данных, а также кибератакам на системы ИИ и методам защиты вызвали бурное обсуждение участников Форума. Они выразили надежду, что мероприятие получит продолжение в следующем году.

Стать автором BIS Journal

Смотрите также

Подписаться на новости BIS Journal / Медиа группы Авангард

Подписаться
Введите ваш E-mail

Отправляя данную форму вы соглашаетесь с политикой конфиденциальности персональных данных

22.02.2024
Самолётом, поездом, машиной. Базу ПДн туристов расширят
22.02.2024
Утверждён новый стандарт протокола защищённого обмена для индустриальных систем
22.02.2024
Системы электронного правительства проверяют на прочность
22.02.2024
Число стилеров в российских банках стремительно растёт
22.02.2024
Эксперты Forbes: ИБ-сектор за год прибавил 8,4%
21.02.2024
«Не являлся значимым кредитором реального сектора экономики». ЦБ РФ лишил QIWI Банк лицензии
21.02.2024
Характер занятости обсуждается при собеседовании. Как становятся дропперами
21.02.2024
Российские компании недовольны «агрессивной кадровой политикой ряда азиатских вендоров»
21.02.2024
Весенние обновления в Signal — реальная ИБ или «косметика»
21.02.2024
NCA: Каждый пятый молодой британец — потенциальный хакер

Стать автором BIS Journal

Поля, обозначенные звездочкой, обязательные для заполнения!

Отправляя данную форму вы соглашаетесь с политикой конфиденциальности персональных данных