За последнее десятилетие достигнут существенный прогресс в создании новых результатов в области искусственного интеллекта. Технологии искусственного интеллекта (ИИ) привели к переходу на качественно новый уровень информационных технологий в целом. Так, к 2030 году применение систем ИИ может обеспечить прирост ВВП до 58%, а ожидаемый прирост производительности в разных сферах — до 55% [1].
МИРОВЫЕ ТЕНДЕНЦИИ
Проведённое патентное исследование позволило выявить организации, разрабатывающие технологии, близкие к тематике информационной безопасности ИИ. Большинство составляют американские, а также китайские компании и университеты: MIT, Стэнфорд, Пекинский, Тяньцзиньский, Национальный университет Чунг Син и др.
Мировые тенденции в области поиска уязвимостей в информационных системах вызваны ущербом от компьютерных атак. Так, компьютерная атака, продолжающаяся меньше минуты, может принести не только экономический ущерб, но и большие репутационные риски [2].
Анализ технологического задела в области обеспечения информационной безопасности ИИ показал следующие тенденции:
ПРЕИМУЩЕСТВА BUG BOUNTY
Стоит определить преимущества концепции Bug Bounty для поиска уязвимостей в системах ИИ [6]:
ДОЛГОСРОЧНЫЙ ВЫЗОВ
Системы ИИ могут быть атакованы путём эксплуатации уязвимостей и дефектов программного обеспечения, а также новых уязвимостей различных компонентов машинного обучения, когда злоумышленники получают доступ и манипулируют незащищённым программным кодом и данными.
Размер стека ИИ достигает сотен тысяч строк кода, а предобученные модели машинного обучения (МО) содержат сотни миллиардов параметров. При этом существенно усложнились инструменты поддержки разработки и эксплуатации моделей МО. Например, в результате работы компилятора программ и инструментов сборки могут появиться новые эксплуатируемые ошибки, не содержащиеся в исходном коде [7]. Программно-аппаратные платформы являются распределёнными с использованием параллелизма на всех уровнях. В частности, это означает отсутствие изолированных систем, их доступность через сеть, даже для закрытых систем ИИ остро стоит проблема эскалации прав доступа. Проблема усугубляется тем, что недостаточно построить и зафиксировать стек под конкретную прикладную область, необходимо обеспечить постоянное и долгосрочное его развитие в силу постоянно меняющихся требований и появления принципиально новых программных и аппаратных возможностей.
Несмотря на широкое распространение моделей МО и наличие большого числа открытых фреймворков машинного обучения, обеспечивающих должный уровень эффективности, создание систем доверенного ИИ — долгосрочный вызов. Это фундаментальное направление, без которого невозможно говорить о долгосрочном развитии ИИ и их массовом внедрении в индустрию, так как даже небольшие сбои и отказы моделей МО могут нанести серьёзный ущерб. Искусственное воздействие может быть оказано перечнем действий злоумышленников: уклонения, отравления, репликации модели и др., а также использование традиционных уязвимостей программного обеспечения (рис. 1).
Рисунок 1. Перечень воздействий злоумышленников на модели МО
Эти уязвимости позволяют злоумышленнику проводить различные типы воздействия на всех этапах жизненного цикла систем ИИ, в том числе:
НЕОБХОДИМЫЕ КОМПОНЕНТЫ
Перечислим основные компоненты, необходимые для организации Bug Bounty моделей машинного обучения (рис. 2).
Во-первых, это программная площадка, для которой возможна работа со следующими объектами:
Во-вторых, специфические цели для Bug Bounty — модели машинного обучения, которые можно разделить по:
В-третьих, это специалисты поиска уязвимостей, проверки PoC-отчётов и собственники моделей МО.
Важный объект — система критериев, которая является инструментом управления заинтересованности специалистов по поиску уязвимостей.
Рисунок 2. Основные компоненты AI Bug Bounty
Программная платформа предназначена для автоматизации тестирования моделей МО на наличие принципиально новых типов ошибок и уязвимостей, которые обуславливают возможность для проведения компьютерных атак злоумышленниками.
Программная платформа реализована как клиент-серверное приложение и обладает следующим функционалом:
РАБОТА НА ПЛАТФОРМЕ — ПЯТЬ ЭТАПОВ
Работа на платформе Bug Bounty содержит 5 этапов (рис. 3):
Рисунок 3. Этапы поиска уязвимостей моделей МО
СОСТАВЛЕНИЕ КРИТЕРИЕВ УЯЗВИМОСТИ
Составление критериев уязвимости — сложный момент. После нескольких вариаций оценивания была определена рациональная формула:
Общая оценка уязвимости = базовая оценка уязвимости • коэффициент важности • коэффициент масштабирования уязвимости
Базовая оценка формируется в зависимости от уровня ущерба, который может быть получен в зависимости от деградации модели МО. То есть, используются ли при её обучении конфиденциальные данные [9], или снижение качества модели МО приведёт к гибели или потере здоровья людей, или компрометация модели МО может оказать большое негативное влияние на другие объекты информационной инфраструктуры. Определено четыре уровня ущерба: катастрофический, высокий, средний и незначительный.
Коэффициент важности формируется в зависимости от прикладной задачи модели машинного обучения или от сложности реализации тестирования. На рис. 4представлена матрица задач машинного обучения, включающая 82 прикладных задачи. Задачи разделены в том числе по типу данных: текст, временные ряды, видео, изображения.
Для примера коэффициент важности можно увеличивать либо по типу и условиям эксплуатации уязвимостей, либо по типу задачи, для решения которой применяется модель МО.
Рисунок 4. Пример определения коэффициента важности
Крайняя составляющая оценки уязвимостей — способность масштабирования теста, а значит, и предоставление стороннего API. Для примера возьмём состязательные примеры.
СОСТЯЗАТЕЛЬНЫЕ ПРИМЕРЫ
Относительно простые в реализации состязательные примеры привели к атакам уклонения в физическом мире. Это особенно важно в вопросах систем охраны на основе распознавания лиц, управления автопилотных средств, а также надёжного функционирования объектов критической информационной инфраструктуры.
На разработанной площадке Bug Bounty успешно было масштабирован такой тип состязательных атак, как текстовый. Такое воздействие связано с некоторой сложностью проведения относительно моделей МО, применяемых для технического зрения. Во-первых, изображения, а именно значения пикселей непрерывны, а текстовые данные — дискретны. Тексты при обработке моделями машинного обучения преобразовываются в векторные представления. Во-вторых, модификация изображений — это небольшие изменения значений пикселей, которые трудно выявить человеку. Простые текстовые состязательные примеры легко идентифицировать, так как модификация символов или слов приведёт к созданию ошибок или синтаксически неправильных предложений.
Подтверждённая уязвимость позволила катастрофически снизить качество таких моделей, как GigaChat [10] и YaGPT [11]. На рис. 5 красным цветом выделены состязательные примеры, которые визуально идентичны нормальным, а для тематики статьи корректнее сказать безопасным данным.
Рисунок 5. Результат использования API Bug Bounty
ВЫВОДЫ
В заключении сделаем несколько выводов:
Список источников:
Отправляя данную форму вы соглашаетесь с политикой конфиденциальности персональных данных
Отправляя данную форму вы соглашаетесь с политикой конфиденциальности персональных данных