Bug Bounty для искусственного интеллекта. Концепция и опыт внедрения

За последнее десятилетие достигнут существенный прогресс в создании новых результатов в области искусственного интеллекта. Технологии искусственного интеллекта (ИИ) привели к переходу на качественно новый уровень информационных технологий в целом. Так, к 2030 году применение систем ИИ может обеспечить прирост ВВП до 58%, а ожидаемый прирост производительности в разных сферах — до 55% [1]. 

МИРОВЫЕ ТЕНДЕНЦИИ

Проведённое патентное исследование позволило выявить организации, разрабатывающие технологии, близкие к тематике информационной безопасности ИИ. Большинство составляют американские, а также китайские компании и университеты: MIT, Стэнфорд, Пекинский, Тяньцзиньский, Национальный университет Чунг Син и др.

Мировые тенденции в области поиска уязвимостей в информационных системах вызваны ущербом от компьютерных атак. Так, компьютерная атака, продолжающаяся меньше минуты, может принести не только экономический ущерб, но и большие репутационные риски [2]. 

Анализ технологического задела в области обеспечения информационной безопасности ИИ показал следующие тенденции:

1. Для ИИ требуется повышение объяснимости и доверия.
2. Формирование инициатив государственных регуляторов (ФСТЭК [3]) и организаций (MITRE [4]) по парированию угроз безопасности ИИ.
3. Уход от ответственности для open-source-решений, включая негативный опыт GitHub [5].
4. Концентрация фокуса не на инструментах тестирования, а на тактиках воздействия.
5. Платформы предпочтительнее отдельных (модульных) технических/программных решений.

ПРЕИМУЩЕСТВА BUG BOUNTY

Стоит определить преимущества концепции Bug Bounty для поиска уязвимостей в системах ИИ [6]:

1. Исследователи Bug Bounty в совокупности более креативны, чем автоматизированные тесты и специалисты кибербезопасности организаций. 
2. Быстрый результат: такая краудсорсинговая система позволяет обнаружить уязвимости намного быстрее. 
3. Меньший бюджет, выделяемый на вознаграждение за обнаружение уязвимостей, по сравнению с тестами на проникновение. 
4. Повторное обнаружение уязвимостей может использоваться для определения существенных ограничений систем ИИ. 

ДОЛГОСРОЧНЫЙ ВЫЗОВ

Системы ИИ могут быть атакованы путём эксплуатации уязвимостей и дефектов программного обеспечения, а также новых уязвимостей различных компонентов машинного обучения, когда злоумышленники получают доступ и манипулируют незащищённым программным кодом и данными.

Размер стека ИИ достигает сотен тысяч строк кода, а предобученные модели машинного обучения (МО) содержат сотни миллиардов параметров. При этом существенно усложнились инструменты поддержки разработки и эксплуатации моделей МО. Например, в результате работы компилятора программ и инструментов сборки могут появиться новые эксплуатируемые ошибки, не содержащиеся в исходном коде [7]. Программно-аппаратные платформы являются распределёнными с использованием параллелизма на всех уровнях. В частности, это означает отсутствие изолированных систем, их доступность через сеть, даже для закрытых систем ИИ остро стоит проблема эскалации прав доступа. Проблема усугубляется тем, что недостаточно построить и зафиксировать стек под конкретную прикладную область, необходимо обеспечить постоянное и долгосрочное его развитие в силу постоянно меняющихся требований и появления принципиально новых программных и аппаратных возможностей. 

Несмотря на широкое распространение моделей МО и наличие большого числа открытых фреймворков машинного обучения, обеспечивающих должный уровень эффективности, создание систем доверенного ИИ — долгосрочный вызов. Это фундаментальное направление, без которого невозможно говорить о долгосрочном развитии ИИ и их массовом внедрении в индустрию, так как даже небольшие сбои и отказы моделей МО могут нанести серьёзный ущерб. Искусственное воздействие может быть оказано перечнем действий злоумышленников: уклонения, отравления, репликации модели и др., а также использование традиционных уязвимостей программного обеспечения (рис. 1). 

Рисунок 1. Перечень воздействий злоумышленников на модели МО

Эти уязвимости позволяют злоумышленнику проводить различные типы воздействия на всех этапах жизненного цикла систем ИИ, в том числе:

• на этапе сбора данных для обучения моделей машинного обучения существует как возможность «отравления» неразмеченных данных, поступающих экспертам в прикладных областях для разметки, так и осуществление «отравления» незаметной для эксперта модификацией данных. В результате обучения на «отравленных» данных модель МО может быть легко атакована злоумышленником при помощи аналогичных модификаций;
• на этапе обучения и формирования гиперпараметров модели машинного обучения возможно встраивание зловредного кода, при этом модель МО показывает хорошую точность на тестовой выборке;
• на этапе эксплуатации моделей, в том числе их обновления. В последние годы разрабатываются атаки чёрного ящика на нейросетевые модели машинного обучения с помощью состязательных примеров, сопоставимые по эффективности с атаками белого ящика.

НЕОБХОДИМЫЕ КОМПОНЕНТЫ

Перечислим основные компоненты, необходимые для организации Bug Bounty моделей машинного обучения (рис. 2).

Во-первых, это программная площадка, для которой возможна работа со следующими объектами:

• моделями машинного обучения;
• классами тестов, с возможностью их настройки;
• PoC-отчётами и отображением их результатов.

Во-вторых, специфические цели для Bug Bounty — модели машинного обучения, которые можно разделить по:

• типу данных (изображения, тексты, аудио и векторные данные);
• парадигме обучения (с усилением, федеративного, трансферного обучения);
• типу задачи (классификация, регрессия, кластеризация, поиск аномалий, рекомендательные системы).

В-третьих, это специалисты поиска уязвимостей, проверки PoC-отчётов и собственники моделей МО.

Важный объект — система критериев, которая является инструментом управления заинтересованности специалистов по поиску уязвимостей.

Рисунок 2. Основные компоненты AI Bug Bounty

Программная платформа предназначена для автоматизации тестирования моделей МО на наличие принципиально новых типов ошибок и уязвимостей, которые обуславливают возможность для проведения компьютерных атак злоумышленниками.

Программная платформа реализована как клиент-серверное приложение и обладает следующим функционалом:

• возможностью добавления предобученных моделей МО для их кросс-тестирования;
• изменение условий проведения тестирования;
• формирование рейтинга успешности тестов и устойчивости моделей МО;
• отправка PoC-отчёта и отображения результата приёмки;
• обеспечивает децентрализованную систему управления, обращения к ресурсам со всех устройств;
• предоставление API сторонним сервисам.

РАБОТА НА ПЛАТФОРМЕ — ПЯТЬ ЭТАПОВ

Работа на платформе Bug Bounty содержит 5 этапов (рис. 3):

1. Определение модели МО (её прикладной задачи и версии модели).
2. Поиск уязвимостей (начинается с информационного поиска, реализаций сторонних решений, например Adversarial Robustness Toolbox (ART) [8], и собственная модификация.
3. Составление PoC-отчёта (требуется блокнот Jupyter/Colab и пояснительная записка).
4. Далее следует проверка PoC. Главное требование — масштабирование PoC на другие модели МО.
5. Самый важный этап — разработка классов тестов и интеграция в программный комплекс для тестирования других моделей машинного обучения.

Рисунок 3. Этапы поиска уязвимостей моделей МО

СОСТАВЛЕНИЕ КРИТЕРИЕВ УЯЗВИМОСТИ

Составление критериев уязвимости — сложный момент. После нескольких вариаций оценивания была определена рациональная формула:

Общая оценка уязвимости = базовая оценка уязвимости • коэффициент важности • коэффициент масштабирования уязвимости

Базовая оценка формируется в зависимости от уровня ущерба, который может быть получен в зависимости от деградации модели МО. То есть, используются ли при её обучении конфиденциальные данные [9], или снижение качества модели МО приведёт к гибели или потере здоровья людей, или компрометация модели МО может оказать большое негативное влияние на другие объекты информационной инфраструктуры. Определено четыре уровня ущерба: катастрофический, высокий, средний и незначительный.

Коэффициент важности формируется в зависимости от прикладной задачи модели машинного обучения или от сложности реализации тестирования. На рис. 4представлена матрица задач машинного обучения, включающая 82 прикладных задачи. Задачи разделены в том числе по типу данных: текст, временные ряды, видео, изображения. 

Для примера коэффициент важности можно увеличивать либо по типу и условиям эксплуатации уязвимостей, либо по типу задачи, для решения которой применяется модель МО. 

Рисунок 4. Пример определения коэффициента важности

Крайняя составляющая оценки уязвимостей — способность масштабирования теста, а значит, и предоставление стороннего API. Для примера возьмём состязательные примеры.

СОСТЯЗАТЕЛЬНЫЕ ПРИМЕРЫ

Относительно простые в реализации состязательные примеры привели к атакам уклонения в физическом мире. Это особенно важно в вопросах систем охраны на основе распознавания лиц, управления автопилотных средств, а также надёжного функционирования объектов критической информационной инфраструктуры. 

На разработанной площадке Bug Bounty успешно было масштабирован такой тип состязательных атак, как текстовый. Такое воздействие связано с некоторой сложностью проведения относительно моделей МО, применяемых для технического зрения. Во-первых, изображения, а именно значения пикселей непрерывны, а текстовые данные — дискретны. Тексты при обработке моделями машинного обучения преобразовываются в векторные представления. Во-вторых, модификация изображений — это небольшие изменения значений пикселей, которые трудно выявить человеку. Простые текстовые состязательные примеры легко идентифицировать, так как модификация символов или слов приведёт к созданию ошибок или синтаксически неправильных предложений. 

Подтверждённая уязвимость позволила катастрофически снизить качество таких моделей, как GigaChat [10] и YaGPT [11]. На рис. 5 красным цветом выделены состязательные примеры, которые визуально идентичны нормальным, а для тематики статьи корректнее сказать безопасным данным.

Рисунок 5. Результат использования API Bug Bounty

ВЫВОДЫ

В заключении сделаем несколько выводов:

1. Несмотря на широкое распространение систем ИИ и наличие большого числа открытых фреймворков машинного обучения, обеспечивающих должный уровень эффективности и производительности, создание систем доверенного ИИ является долгосрочным вызовом. 
2. На текущий момент всё ещё не существует технической, методологической и организационной инфраструктуры для разработки высоконадёжных и одновременно эффективных систем, использующих ИИ. 
3. Bug Bounty позволяет использовать разнообразный опыт специалистов по поиску уязвимостей в системах ИИ. 
4. Выявление уязвимости и составление PoC-отчёта — трудоёмкий процесс, а проверка отчёта — сложнее. 
5. Система критериев Bug Bounty позволяет расставить приоритеты поиска уязвимостей. 

Список источников:

1. Artificial Intelligence everywhere [Электронный ресурс]. Дата обращения: 30.05.2023.
2. Реагирование на инциденты: аналитический отчет [Электронный ресурс]. Дата обращения: 30.05.2023.
3. Список угроз ФСТЭК [Электронный ресурс]. Дата обращения: 30.05.2023.
4. ATLAS Navigator [Электронный ресурс]. Дата обращения: 30.05.2023.
5. GitHub заблокировал десятки российских пользователей [Электронный ресурс]. Дата обращения: 30.05.2023.
6. Global Bug Bounty Platform [Электронный ресурс]. Дата обращения: 30.05.2023.
7. OpenAI Said Its Code Was Risky. Two Grads Re-Created It Anyway [Электронный ресурс]. Дата обращения: 30.05.2023.
8. Adversarial Robustness Toolbox (ART) [Электронный ресурс]. Дата обращения: 30.05.2023.
9. Указ Президента Российской Федерации от 6 марта 1997 года № 188 «Об утверждении перечня сведений конфиденциального характера» в редакции № 357 от 13.07.2015.
10. GigaChat — нейросетевая модель от Сбера на русском языке [Электронный ресурс]. Дата обращения: 30.05.2023.
11. Алиса, давай придумаем... [Электронный ресурс]. Дата обращения: 30.05.2023.