Анатомия невозможного. Почему ИИ не сможет защитить от атак на людей
ИИ становятся всё более человечными. Они с лёгкостью проходят тест Тьюринга, пишут музыку и статьи, рисуют картины и создают программы, которые компилируются и работают, выполняя сформулированное на обычном языке ТЗ. На этом фоне вполне логичным кажется вывод, что совсем скоро могучий искусственный разум доберётся до ИБ и полностью решит проблему человеческого фактора.
Это может выглядеть, например, как объединение мировых нейросетей и непрерывного обучения на озёрах данных об атаках, которые собирают антивирусные компании. Получившийся супер-ИИ будет знать всё возможное и невозможное о любых действиях киберпреступников, поэтому обнаружит и заблокирует любые попытки фишинга и других видов атак на людей. Сотрудники компаний и обычные граждане смогут вести безмятежное существование под непробиваемой защитой заботливого и всеведущего наставника.
К сожалению, все эти мечты разбиваются о суровую реальность. ИИ не сможет защитить людей от цифровых атак (фишинг, вишинг, BEC, вредоносное ПО и другие), пока человек может выполнять потенциально опасные действия. Разберёмся, почему так происходит.
ЗАЩИТА ОТ ФИШИНГА
Сочетание низкой стоимости реализации атак с высокой эффективностью делает фишинг идеальным инструментом для киберпреступников. По данным отчёта Proofpoint, в 2021 году 83% организаций подверглись успешной фишинговой атаке, 78% столкнулись с атаками вымогателей, которые начались с фишингового письма, 86% стали жертвами массовых фишинговых рассылок, а 77% подверглись атакам с компрометацией деловой переписки. Поэтому создание надёжной защиты от фишинга — приоритетное направление для всех разработчиков систем информационной безопасности.
На что надеются
Люди научились распознавать примитивные фишинговые атаки в виде электронных писем, текстов и QR-кодов. Грамматические ошибки, опечатки, подозрительные ссылки, поддельные логотипы и адреса электронной почты, не соответствующие отправителю, позволяют легко вычислить фальшивку.
Но мошенники тоже развиваются, поэтому они изменили тактику. Фишинговые письма нового поколения написаны и оформлены без явных ошибок, их отправители обращаются к жертвам по имени-отчеству и могут даже включать для достоверности один из реальных паролей, полученный из утечек. Всё это значительно усложняет распознавание вредоносных писем человеком.
И тут в дело вступает ИИ в составе защитных решений. Обученные на базе огромного массива фишинговых посланий нейросети успешно распознают мошеннические письма, обманувшие людей. Лучшие из них выделяют в потоке внешне легитимных и совершенно безвредных писем опаснейшие BEC-сообщения. Казалось бы, вот он, философский камень. Но не стоит забывать, что ИИ и нейросети могут использовать не только защитники.
Почему это не сработает
Отличную демонстрацию возможностей современных нейросетей провела команда Сингапурского ИБ-агентства на конференции Black Hat и Defcon в 2021 году. Они разослали своим коллегам целевые фишинговые письма, часть которых написали сами, а часть сгенерировали с помощью платформы ИИ-как-услуга. Оба сообщения содержали ссылки, которые уведомляли исследователей о количестве переходов. Они с удивлением обнаружили, что по ссылкам в сообщениях, сгенерированных ИИ, переходило больше людей, чем в сообщениях, написанных человеком, причём со значительным отрывом.
Для генерации посланий исследователи воспользовались платформой OpenAI GPT-3 и ещё несколькими ИИ-сервисами, ориентированными на анализ личности (OSINT). Это позволило им создавать фишинговые письма с учётом биографии и особенностей характера адресатов. Пропустив полученные данные через несколько сервисов, исследователи смогли разработать конвейер, который подготавливал и совершенствовал электронные письма перед рассылкой. По их словам, результаты звучали «странно по-человечески», а ИИ вносили в письма неожиданные уточнения, например, упоминание Сингапурского закона при создании текста для жителей Сингапура.
А теперь давайте представим, что нейросеть для генерации фишинговых писем обучили не просто делать качественные послания, на которые реагируют люди, а ещё и писать их так, что ИИ защитных решений тоже будут признавать их безвредными. Звучит невероятно, особенно если к этому добавить «фишинг под ключ» — создание набора скриптов, которые будут размещать фишинговые сайты на уязвимых хранилищах AWS, настраивать файрвол, регистрировать домены, рассылать сгенерированные письма и в конце выдавать отчёт.
Но всё это — результат реального эксперимента с нейросетью ChatGPT, описанный в запрещённой на территории РФ соцсети Илона Маска. Оказалось, что достаточно всего лишь обратиться к ChatGPT с просьбой типа «create a python script to deploy evil gen x phishing tool to AWS» или «create a python script to register do main twitter-security-update.com with godaddy», чтобы получить на выходе полностью работоспособные python-программы.
Получается, что нападающие уже располагают инструментарием для организации и проведения масштабных фишинговых кампаний, причём благодаря тщательно обученным нейросетям они могут создавать более «человечные» письма, чем реальные люди. И самое важное — эти письма будут признаваться безопасными даже лучшими системами защиты.
Налицо классическая проблема противостояния брони и снаряда. Только сейчас мы наблюдаем разбаланс: атакующие комплексы ушли далеко вперёд и вероятность того, что отставание защиты удастся быстро ликвидировать, не слишком велика.
Секрет эффективности фишинга состоит в том, что не имеет значения, сколько тысяч фишинговых сообщений успешно распознала жертва или заблокировал ИИ-защитник. Для взлома сети достаточно пропустить всего одно. И неважно, кто ошибётся, человек или ИИ.
ЗАЩИТА ОТ ВРЕДОНОСНОГО ПО
Эвристический и поведенческий анализ присутствует в антивирусах и их более продвинутых наследниках (EDR, XDR) уже много лет. Разумеется, производители антивирусных программ рассматривают машинное обучение в качестве инструмента для улучшения методов обнаружения вредоносного ПО благодаря его способности выявлять новые типы вредоносного ПО, не встречавшиеся ранее.
На что надеются
Сегодня команды безопасности завалены данными о потенциально подозрительной активности в сетях и на периметре. Это приводит к тому, что для поиска реальной угрозы приходится буквально искать маковые зёрна на пшеничном элеваторе. ИИ помогает защитникам находить реальные угрозы, распознавая модели сетевого трафика, индикаторы вредоносного ПО и тенденции поведения пользователей.
ИИ используется для более точного обнаружения атак и последующего определения приоритетности ответных мер на основе реального риска. Он позволяет автоматически реагировать на атаки и обеспечивает более точное моделирование для прогнозирования будущих инцидентов. Всё это не обязательно устраняет аналитиков из цикла, но делает их работу более гибкой и точной. При столкновении с киберугрозами они могут сосредоточиться на важном, а не фильтровать тонны шума.
Почему это не сработает
На конференции по безопасности Black Hat USA в 2017 году исследователи представили AVPASS — инструмент, который распознаёт цепочки правил обнаружения любого антивирусного механизма. Затем это умозаключение используется для маскировки вредоносного ПО под доброкачественное Android-приложение. AVPASS показал нулевой уровень обнаружения на онлайн-сервисе анализа вредоносного ПО Virus Total с более чем 5 тыс. образцов вредоносного ПО для Android. Другими словами, AVPASS создал оперативно необнаруживаемое вредоносное ПО.
Было доказано, что системы обнаружения на основе машинного обучения могут быть обмануты агентом ИИ, предназначенным для поиска слабых мест. Исследователи, например, смогли создать вредоносное ПО, которое не обнаруживают даже антивирусные системы на основе машинного обучения. Такие вредоносы используют обучение с подкреплением, соревнуясь с антивирусным детектором. Они выбирают функции, сохраняющие вредоносность исполняемого файла Windows, и добавляют варианты, которые повышают шансы на то, что образец вредоносного ПО пройдёт незамеченным.
Вот какие способы используют злоумышленники, чтобы обойти ИИ систем защиты.
Проверка эффективности своих вредоносных программ против инструментов на основе ИИ с помощью машинного обучения
Для этого они создают собственные среды, где моделируют вредоносные программы и методы атак для определения типов событий и поведения, которые ищут защитники.
Например, сложная часть вредоносного ПО может изменять локальные системные библиотеки и компоненты, запускать процессы в памяти и взаимодействовать с одним или несколькими доменами, принадлежащими инфраструктуре управления злоумышленника. Все эти действия в совокупности создают профиль, известный как тактика, техника и процедуры (ТТП). Модели машинного обучения могут наблюдать за ТТП и использовать их для создания возможностей обнаружения.
Наблюдая и прогнозируя, как ТТП обнаруживаются командами безопасности, атакующие могут тонко и часто изменять индикаторы и поведение, чтобы опередить защитников, которые полагаются на инструменты ИИ для обнаружения атак.
Отравление ИИ неточными данными
Злоумышленники используют машинное обучение и ИИ для компрометации защиты путём отравления моделей неточными данными. Модели машинного обучения и ИИ полагаются на правильно маркированные образцы данных для построения точных и воспроизводимых профилей обнаружения. Внедряя доброкачественные файлы, похожие на вредоносное ПО, или создавая модели поведения, которые оказываются ложноположительными, злоумышленники могут обмануть модели ИИ, заставив их поверить, что поведение при атаке не является вредоносным. Злоумышленники также могут отравить модели ИИ, внедряя вредоносные файлы, которые в ходе обучения ИИ были признаны безопасными.
Сопоставление существующих моделей ИИ
Злоумышленники составляют карту существующих и разрабатываемых моделей ИИ, которые используют поставщики услуг кибербезопасности и операционные команды. Выяснив, как функционируют модели ИИ и что они делают, злоумышленники могут активно нарушать работу систем машинного обучения и моделей во время их циклов. Это может позволить хакерам влиять на модель, обманывая систему в пользу злоумышленников и их тактик. Это также может позволить хакерам полностью обойти известные модели, тонко изменяя данные, чтобы избежать обнаружения на основе распознанных закономерностей.
Таким образом, в арсенале киберпреступников имеются все инструменты, чтобы обойти защитные системы и добиться, чтобы они позволили сотрудникам компаний выполнить целевое действие — перейти по фишинговой ссылке, открыть вредоносное вложение, установить поддельное «обновление». Защитные решения снова оказываются не у дел, создавая ложное чувство защищённости.
ЗАЩИТА ОТ ТЕЛЕФОННЫХ МОШЕННИКОВ
Телефонные мошенники стали угрозой номер один для клиентов банка. Множественные утечки из различных сервисов объединяются в один большой массив, сопоставляются с данными социальных сетей, а затем с помощью ИИ производится профилирование жертв и их сортировка по различным критериям.
На что надеются
Банки обучают свои антифрод-системы на базе ИИ выявлять и блокировать переводы денег мошенникам. Но пока серьёзных успехов в этой области незаметно. Различные меры, предлагаемые ЦБ и другими ведомствами, показывают лишь частичную эффективность. Например, блокировка телефонных номеров привела к тому, что мошенники стали подставлять номера реальных людей или вообще звонить через WhatsApp и другие мессенджеры.
Почему это не сработает
Мошенники уже используют ИИ для автоматизации и быстрого обнаружения того, как жертвы поддаются на аферу или отказываются от участия. Это позволит ему сосредоточиться только на тех потенциальных жертвах, которых легко обмануть. Какой бы ложный предлог ни выбрал мошенник, чтобы убедить жертву принять участие, нейросеть сможет предугадать наиболее распространённые ответы жертвы на выбранный предлог.
В ходе автоматизированных диалогов преступники могут отслеживать, какие аргументы и логика наиболее убедительны для потенциальных жертв. Изменяя эти параметры, они могут усовершенствовать аферу, чтобы со временем добиться лучших результатов. Собрав достаточное количество данных, злоумышленники могут использовать их как характеристики для обучения всё более совершенных моделей, которые сделают атаки более эффективными.
ВЫВОДЫ
ИИ по своей сути является технологией двойного назначения. Помимо прочего, это означает, что с помощью ИИ можно как защищать людей от цифровых атак, так и проводить мошеннические кампании с использованием социальной инженерии.
По состоянию на сегодняшний день возможности ИИ для организации цифровых атак значительно выше, чем у доступных на рынке систем защиты на базе ИИ. Нейросети помогают преступникам увеличить масштабы применения социальной инженерии, автоматизируя первые шаги атаки за счёт автоматической генерации контента с помощью нейросетей GPT-3, улучшая сбор бизнес-аналитики, ускоряя обнаружение потенциальных жертв и проведение атак на нарушение бизнес-процессов.
Поскольку системы защиты всё чаще используют подходы на основе ИИ, ожидается, что преступники будут либо напрямую атаковать эти системы, либо использовать ИИ для имитации поведения пользователей. Растущая автоматизация многочисленных аспектов повседневной жизни с помощью систем на базе ИИ также неизбежно влечёт за собой возможную потерю контроля над этими аспектами. Это не только расширит поверхность для киберударов, но и создаст новые типы атак на людей и компьютерные системы.
.jpg)