BIS Journal — «Вопросы безопасности»: диалог друзей
В развитие рубрики «Содружество ИБ» предлагаем дайджест из последних наиболее интересных статей журнала «Вопросы кибербезопасности». Тем более что Игорь Анатольевич Шеремет — герой наших «Бесед с Шереметом» — является председателем его редакционного совета.
Алгоритмы содействуют контролю криптовалютных транзакций
Одной из главных проблем, связанных с цифровыми финансовыми активами, является их анонимность и невозможность контроля за нецелевым использованием. Это может стать причиной незаконных операций, мошенничества и финансирования терроризма.
В работе «Методы машинного обучения в задачах контроля криптовалютных транзакций» (Феклин В. Г., Соловьёв В. И., Корчагин С. А., Царегородцев А. В.) рассмотрены технологические возможности контроля за оборотом цифровых финансовых активов на примере сети Ethereum. Авторы предложили алгоритм автоматизированной системы по выявлению мошеннических транзакций, методологию их анализа, а также реализовали ряд моделей машинного обучения, позволяющих такие операции идентифицировать. Наилучшие результаты показала ансамблевая модель XGBoost, которая и легла в основу прототипа автоматизированной системы.
По мнению авторов исследования, методы машинного обучения являются эффективным инструментом для контроля криптовалютных транзакций. Они позволяют автоматически обнаруживать аномальные операции, которые могут быть связаны с различными незаконными действиями. Тем не менее, рассмотренные в работе методы не являются универсальными и требуют тщательной настройки и обучения для каждого конкретного случая.
Паттерны дают отпор атакам отравления обучающих данных
Использование новых технологий, связанных с искусственным интеллектом и машинным обучением, ставит вопрос об их безопасности и надёжности. Защите подлежат не только пользователи и их данные, но и функционирование самих алгоритмов.
При наличии многих исследовательских работ есть пробел в разработке универсальных шаблонных механизмов безопасности, называемых паттернами. В статье «Паттерн для обеспечения безопасности приложения при угрозе модификации модели машинного обучения» (Корнеев Н. В., Котрини Е. С.) авторы ставят целью разработать соответствующий механизм защиты.
Согласно банку угроз безопасности информации ФСТЭК России, такая угроза безопасности информации называется УБИ 221. Она может быть осуществлена внешним или внутренним нарушителем путём искажения («отравления») обучающих данных.
Авторами построена микросервисная архитектура для обеспечения безопасности для широкого круга приложений в облачной инфраструктуре. Рассмотрен сценарий атаки отравления обучающих данных. Разработан паттерн безопасности для защиты приложения от такой атаки на основе микросервисов, интегрированных в контейнеры. Включённые метрики ошибок дают возможность гибко настраивать сам паттерн и применять его для широкого круга приложений.
Выявлять компьютерные атаки посредством фрактального анализа
Многочисленные исследования статистических характеристик сетевого трафика и сетевых компьютерных атак (КА) показывают наличие у них свойств фрактальности или самоподобия, а также изменчивость показателей, характеризующих фрактальные свойства. Такого мнения придерживаются авторы работы «Классификация компьютерных атак с использованием мультифрактального спектра фрактальной размерности» (Шелухин О. И., Рыбаков С. Ю., Раковский Д. И.).
Методы фрактального анализа широко используются для обнаружения атак и сетевых аномалий. Вместе с тем во многих исследовательских работах в качестве основного рассматривались традиционные асимптотические методы оценки ФР. Однако, используя методы текущей оценки ФР в скользящем окне в реальном масштабе времени, можно усовершенствовать эти алгоритмы.
Учитывая, что свойство самоподобия наблюдается в широких временных масштабах, наличие в сигнале продолжительных атак и аномальной активности изменяет самоподобную природу трафика, приводит к мультифрактальной структуре обрабатываемых процессов.
Информация о различии ФР обрабатываемых процессов при разном разрешении по времени может быть использована для модификации рассмотренных алгоритмов обнаружения КА, приводя к улучшению показателей классификации методами машинного обучения.
Для систем ИИ важен учёт всех рисков
Как утверждает автор работы «Специальная модель безопасности создания и применения систем искусственного интеллекта» (Гарбук С. В), алгоритмы машинного обучения (МО) обеспечивают эффективное решение различных задач в области автоматизированной обработки данных в условиях отсутствия основанных на знаниях моделей наблюдаемых объектов и процессов.
Наряду с универсальностью применения алгоритмы МО обладают также такими особенностями, как отсутствие полной интерпретируемости, возможность дообучения в процессе эксплуатации систем ИИ (СИИ), высокая актуальность вопросов социальной приемлемости применения СИИ, необходимость сравнения функциональных возможностей СИИ и человека-оператора и др.
Автор рассмотрел в статье, как несоответствие различного рода требованиям, предъявляемым к информационным компонентам систем ИИ, влияет на риски, возникающие при создании и применении этих систем. Анализ показал, что эти риски сводятся к ухудшению функциональных характеристик СИИ, увеличению погрешности их оценки эксплуатантом и компрометации данных, обрабатываемых в системе. Предложенная модель безопасности может быть использована для качественной оценки рисков, возникающих при создании и эксплуатации прикладных систем ИИ различного назначения, и организации мер по снижению этих рисков.
Видеть правовые горизонты технологий ИИ
По мнению многих экспертов, термин «искусственный интеллект» не относится к какой-либо конкретной технологии — скорее это собирательный термин для множества технологий использования математико-статистических методов для моделирования когнитивных способностей. В связи с этим важно установить современное понимание ИИ, считают авторы работы «Правовые горизонты технологий искусственного интеллекта: национальный и международный аспект» (Карцхия А. А., Макаренко Г. И).
На первом международном саммите по безопасности ИИ, прошедшем 1 ноября 2023 года в Великобритании (Россия не принимала в нём участие) была принята Декларация по вопросам безопасности ИИ (The Bletchley Declaration on AI safety). В ней использован термин FrontierAI, обозначающий высокоэффективные модели ИИ общего назначения. Документ, подписанный странами G7 30 октября 2023 года в Японии, инициировал Хиросимский процесс. Заявлена цель создать всеобъемлющую политическую основу для разработки безопасных и заслуживающих доверия СИИ.
Россия в отличие от стран коллективного Запада выступает за широкий подход к содержанию понятия международной ИБ, включая в него как технические аспекты, так и значительный круг политико-идеологических вопросов. Национальная стратегия развития ИИ на период до 2030 года нацелена на то, чтобы обеспечить рост благосостояния населения, безопасность и правопорядок, развитие экономики, в том числе лидирующие позиции в мире в области ИИ.
Риск нарушения корректности машинного обучения ИИ можно оценить
Обеспечение безопасности информации СИИ предполагает противодействие злоумышленным угрозам подмены и модификации ММО. Не представляя всей «внутренней кухни» машинного обучения, заказчик и пользователи системы могут воспринимать нарушения её нормального функционирования за обычное техническое несовершенство, считают авторы работы «Анализ угроз злоумышленной модификации модели машинного обучения для систем с искусственным интеллектом» (Костогрызов А. И., Нистратов А. А.).
Для систем, использующих СИИ, из множества различных угроз выделены следующие: угроза подмены ММО (УБИ.222) и угроза модификации ММО путём искажения («отравления») обучающих данных (УБИ.221). В наше время нередко разработчики программных средств (ПС), осуществляющие МО, принадлежат сторонним организациям. Они не хотят раскрывать и передавать заказчику и головному разработчику системы исходные тексты. В этих условиях угрозы, связанные со злоумышленной модификацией ММО, становятся остро актуальными и требуют системного анализа.
Исследователи предлагают подход к решению различных задач по эффективному применению СИИ, включая метод оценки интегрального риска нарушения корректности МО в течение задаваемого периода. Он позволит прогнозировать риски и количественно обосновывать принимаемые решения о стратегии и мерах противодействия рассматриваемым угрозам.
