Материалы'23

Широкое внедрение технологий искусственного интеллекта привело к возникновению новых угроз, эффективное противодействие которым не может быть реализовано текущими средствами разработки безопасного ПО.

Для ответа на этот вызов в 2021 году в рамках федерального проекта «Искусственный интеллект» на базе ИСП РАН был создан Исследовательский центр доверенного искусственного интеллекта, задачами которого является создание научно-технологической базы для обеспечения доверия к технологиям ИИ и формирование в России сообщества исследователей и разработчиков вокруг этой проблематики.

В докладе рассмотрены риски и угрозы применения технологий искусственного интеллекта, а также представлены направления и промежуточные результаты работ Центра доверенного искусственного интеллекта ИСП РАН.

Актуальность тематики доклада определяется в необходимости консолидации усилий консорциума вузов, академических институтов и индустриальных партнеров по направлению "Технологии доверенного взаимодействия". Доклад направлен на рассмотрение текущих направлений развития научных и образовательных проектов ЦК НТИ "ТДВ", связанных с использованием методов машинного обучения и ИИ. Целью доклада является выявление проектов для совместной работы в рамках консорциума.

Доступ к реальным, в том числе персональным, данным может быть ограничен, сложен или недостаточен для широкого спектра научных исследованиях и задачах машинного обучения. В этих случаях решением может служить генерация синтетических данных, способных расширить, а иногда и полностью заменить исходную обучающую выборку. Важным критерием является необходимость получения сходных статистических характеристик, а главное внутренних более сложных зависимостей, соответствующих наборам реальных данных. В настоящее время для генерации синтетических данных наибольшее распространение получил нейросетевой подход, основанный на генеративно-состязательных сетях (например, модели SDV, GAN, CTGAN и т.д.). Помимо этого в литературе так же существуют примеры использования имитационного моделирования, которое может принимать разные формы, начиная от применения классического метода Монте-Карло и заканчивая использованием игровых движков (например, Unreal Engine) и специализированного ПО (например, AnyLogic). Также особый интерес представляет комбинированный подход с использованием, как нейросетевых методов, так и имитационного моделирования.

В докладе будут рассмотрены основные направления генерации синтетических данных на основе имитационного моделирования, примеры использования и предпосылки к применению.

В докладе рассматривается система проведения аутентификации, использующая в качестве дополнительного фактора анализ биометрической характеристики- динамику простановки подписи. Рассматривается применимость состязательных атак для противодействия данному фактору. Проводится сравнение различных видов атак на различные архитектуры нейронных сетей и дается сравнительная оценка их эффективности. Особое внимание уделяется адаптации существующих методов противодействия атакам применительно к их использованию для повышения надежности применимости динамики простановки подписи в качестве усиливающего фактора аутентификации

В докладе рассматривается задача федеративного обучения, когда владельцы данных совместно обучают модель без обмена исходными данными для сохранения их конфиденциальности. Приводятся задачи, в которых применяется такой подход. Рассматриваются атаки на системы федеративного обучения, их виды, цели, объекты воздействия, а также некоторые рекомендации по защите от них.

В связи с активным внедрением и применением, как государственных, так и коммерческих биометрических систем идентификации на территории Российской Федерации, проведение атак на биометрическое предъявление приобретают особую актуальность, особенно в удаленных каналах обслуживания. В докладе будут представлены стандартные виды инструментов атак на биометрическое предъявление, а также предложена подробная классификация и соответствующе меры, направленные на повышение стойкости биометрических систем к такого рода атакам

Развитие технологий Искусственного интеллекта во много обусловлено появлением больших наборов данных. Ряд отраслей экономики, такие как медицина, финансы, гос.органы, ограничены в возможностях объединения и обработки данных по причине законодательных и этических ограничений. Концепция крипто-анклавов снимает эти ограничения, позволяя объединять и анализировать данные с помощью технологий ИИ не только безопасно, но и максимально операционно эффективно.  Банк ВТБ совместно с МФТИ работает над полностью импорто-независимой реализацией технологии крипто-анклавов, включающей полный цикл автоматизации процесса разработки и применения моделей машинного обучения. Разработанный программно-аппаратный комплекс будет применим для максимально широкого круга отраслей и задач.

В рамках доклада мы рассмотрим природу возможных уязвимостей в моделях машинного обучения.  Рассмотрим способы по организации злонамеренных атак на алгоритмы машинного обучения и способы возможной защиты от них. Так же поговорим про то, при каких условиях возможно осуществление эффективных атак на алгоритмы машинного обучения, а при каких это крайне маловероятно. Осветим последние методы в этой области и расскажем про наш собственный опыт.

В современном мире разработка систем на базе технологий искусственного интеллекта не обходится без использования фреймворков машинного обучения, таких как TensorFlow и PyTorch. Большая, написанная на разных языках программирования (C/C++/Python) и быстро меняющаяся кодовая база фреймворков ведёт к возникновению ошибок и уязвимостей. Жизненный цикл безопасной разработки (SSDLC) призван сократить число ошибок и повысить качество программного кода. В докладе будет рассмотрено применение методов статического и динамического анализа к коду PyTorch и TensorFlow, а также система, позволяющая проводить анализ в непрерывном режиме,с учётом изменения кодовой базы. Применение таких подходов позволило обнаружить и исправить более 40 ошибок, большинство из которых приняты международным сообществом.

В рамках доклада описываются текущие барьеры для обработки обезличенных данных в России, предложения по внедрению риск-ориентированного подхода к их регулированию, включая модель оценки рисков повторной идентификации с учетом риска данных и контекстных рисков, а также профили атак. Кроме этого, будут представлены результаты практического применения модели в рамках бизнес-кейсов, в том числе расчет риска при двустороннем обмене, объединении данных из различных источников и создании внутреннего озера данных, а также рекомендации по снижению риска.

С началом активного внедрения систем искусственного интеллекта в информационные системы, как никогда стал актуален вопрос обеспечения безопасности информации, обрабатываемых такими системами. Наличие процессов обучения моделей искусственного интеллекта затрудняет, а в ряде случаев делает невозможным применение используемых в настоящее требований к безопасности информации. В докладе будет представлена концепция требований к разработке и эксплуатации систем, использующих методы искусственного интеллекта, подготовленная по результатам научных исследований, проводимых в АК РФ.

В настоящее время стремительное развитие информационных технологий дает возможность получать доступ к различным базам данных. При этом постоянно ускоряющаяся информатизация общества, а также активное развитие машинного обучения и открытых информационных систем значительно упрощают утечку персональных данных и иные формы незаконного доступа к ним.
В докладе рассматривается проблематика обеспечения безопасности персональных данных при их интеллектуальной обработке. Приводятся существующие на сегодняшний день подходы к защите личной информации от раскрытия путем применения современных математических методов обезличивания.

Искусственный интеллект и машинное обучение, как и любые другие технологии, кроме приносимой ими пользы, несут в себе определенные риски.

В особенности важны риски, связанные с безопасностью этих технологий, которые, если не заниматься ими, могут иметь далеко идущие негативные последствия. К примеру, значимая доля сегодняшних киберугроз имеет место из-за того, что изначально при разработке многих компьютерных систем инженеры должным образом не задумывались о кибербезопасности.

Технологии искусственного интеллекта, хотя и уже приносят много благ, находятся сейчас на тех этапах развития, когда еще можно повлиять на то, чтобы в будущем они оказались безопасны. Есть ряд мер и методик, которые необходимо использовать в разработке систем с применением ИИ и машинного обучения чтобы устранить многие риски безопасности, и сделать создаваемые системы надежными и стабильными.Наш рассказ будет посвящен предложениям подобных мер, которые в том числе применяются в наших процессах разработки

В докладе рассматриваются угрозы, которые порождаются успехами современных методов машинного обучения, а также возможные методы их парирования. Основное внимание уделяется трем направлениям:

• детектирование и генерация синтетического аудио/видео контента;
• обеспечение безопасности систем искусственного интеллекта;
• использование больших языковых моделей для социальной инженерии.

Цель доклада - продемонстрировать возможность разработанной площадки AI Bug Bounty. Отечественная разработка позволяет не только взаимодействовать со специалистами в области защиты систем искусственного интеллекта, но и тестировать их сценарии атаки. Дополнительным функционалом является рейтинги успешности сценариев атак, а также устойчивости моделей машинного обучения.

В настоящем докладе рассматривается методы детектирования видео и аудио контента, основанные на применении нейросетей, включая условно криминалистические методы. Способы детекции включают в себя определение подделок типа замены головы, подделки мимики, технологии аватар, синтеза и клонирования голоса. Описываются современные технологии детекции, артефакты от различных типов генераторов, демонстрируются текущие результаты работы (демонстратор технологий).
Основной проблемой обучения детекторов является недостаточный объем корпусов с синтезом хорошего качества, отсутствие доверенных данных. Критические последствия могут возникать при применении корпусов с отравленными данными. Одним из способов обхода проблемы является самостоятельная генерация доверенных данных с помощью перспективных методов синтеза аудио и видео.

Предложен метод доверенной идентификации с использованием недоверенных смартфонов. Метод основан на использовании стимулированной рефлекторной реакции человека. Изучаются движения глаз и их рефлекторная составляющая. Показано, что на этой основе возможно решение как поставленной задачи, так и множества других.