BIS Journal №2(53)2024

25 июня, 2024

Эволюция плохих ботов, или Как мы боремся с фулстеками в 2024 году

Четверть века назад был обнаружен первый ботнет, основанный на фишинге и троянах. За это время боты эволюционировали настолько, что порой их крайне сложно отличить от легитимного пользователя. И вредят они множеством способов: парсят цены, крадут уникальный контент, из-за их активности в разы возрастают траты на СМС. На популярных веб-ресурсах ботового трафика иногда даже больше, чем легитимного. К счастью, у проблемы есть решение. 

Первый ботнетом принято считать Earth Link Spammer (2000). Он был обнаружен и раскрыт американским интернет-провайдером Earth Link. Ботнет, созданный известным спамером Ханом К. Смитом, успел разослать 1,25 млн электронных фишинговых писем с целью получения конфиденциальной информации: логинов, паролей, номеров банковских карт. В то время на его долю приходилось около 25% всего интернет-спама.

 

ЭТАПЫ ЭВОЛЮЦИИ

С 2000 по 2024 год эволюцию плохих ботов можно условно разделить на несколько ключевых этапов, отражающих изменения в технологиях и тактиках злоумышленников.

1. Ранние ботнеты (2000–2005). В начале 2000-х годов ботнеты были относительно простыми и основывались на вредоносных программных компонентах, таких как вирусы, трояны и черви, способных заражать компьютеры и объединять их в сети под управлением злоумышленников.

2. Развитие коммерческих ботнетов (2005–2010). У злоумышленников впервые появилась возможность арендовать готовые ботнеты для проведения атак или рассылки спама.

Cutwail (2007)

Также известный как Pushdo или Pandex, один из крупнейших и долгоживущих ботнетов, активный с начала 2007 года. Компьютеры на Windows, заражённые трояном Pushdo, превращались в ботнет для фишинга, DDoS-атак и кражи персданных. На пике своей активности Cutwail рассылал 74 млрд писем в день. Ботнет был активен в течение многих лет. И впервые мог быть арендован теми, кто хотел получить доступ к добытой Cutwail конфиденциальной информации.

3. Рост сложности и масштаба (2010–2015). Для управления и координации деятельности ботов стали использоваться распределённые сети. Боты сменили тактику: вместо отправки 1000 запросов с одного IP-адреса они стали отправлять единичные запросы с 1000 разных IP. Ботнеты начали применять различные методы обхода защиты, имитируя браузеры или поведение пользователей.

Gameover ZeuS (2011–2014)

GOZ был одним из самых известных и разрушительных ботнетов. Он был создан на основе трояна ZeuS, который изначально был предназначен для кражи финансовой информации и учётных данных банковских аккаунтов. Gameover Zeus маскировался, используя P2P-сеть для управления и координации заражёнными устройствами, что усложняло попытки его обнаружения и нейтрализации.

4. Использование криптовалют и майнинг (2015–2020). В это время майнинг криптовалют стал одним из основных способов монетизации ботнетов. Злоумышленники использовали вычислительные ресурсы зараженных устройств для добычи криптовалюты без согласия их владельцев.

Mirai (2016)

Один из первых спам-ботов, нацеленных на устройства Интернета вещей. Кроме громких инцидентов, связанных с DDoS-атаками, использовался в том числе для кликфрода (незаконной техники манипулирования стоимостью клика в рекламе). Ботнет остаётся опасным и сегодня, поскольку продолжает мутировать. 

5. Развитие искусственного интеллекта и автоматизации (2020–2024). С развитием AI-технологий и машинного обучения злоумышленники стали использовать автоматизированные инструменты для создания и управления ботнетами. Это помогло адаптироваться к защитным мерам и проводить эффективные кибератаки. 

Mantis (2022)

Ботнет захватывал виртуальные машины и серверы, размещенные в облачных сервисах, а не полагался на устройства Интернета вещей с низкой пропускной способностью. С помощью небольшого парка из 5000 ботов смог провести рекордную DDoS-атаку в пике 26 млн HTTP-запросов в секунду (RPS).

 

КАК МЫ БОРЕМСЯ С БОТАМИ В 2024 ГОДУ

Мы в Servicepipe сфокусировались на интеллектуальном анализе и фильтрации трафика ещё в 2019 году. В 2021 году представили собственную антибот-технологию Cybert, которая успешно защищает клиентские веб-ресурсы практически во всех отраслях российской экономики. Таким образом, для нас в Servicepipe борьба с ботами (как и с кибератаками в целом) — это ежедневное противостояние щита и меча.

Эффективная борьба с современными ботами невозможна без быстрой и тонкой фильтрации нежелательного трафика. Для тонкой фильтрации важна высокая точность при определении вредоносности запросов. А точность, в свою очередь, подразумевает предварительную классификацию, поскольку сомнительные запросы зачастую требуют дополнительных проверок перед вынесением вердикта о легитимности.

 

КАК МЫ КЛАССИФИЦИРУЕМ БОТОВ

При блокировке все автоматизированные угрозы Антибот Servicepipe делит на два основных класса: простую автоматизацию и продвинутых ботов.

 

ЧТО ТАКОЕ ПРОСТОЙ БОТ

Простой бот (англ. Simple Automation) — так мы называем источник автоматизированных запросов, который не пытается маскироваться: «притворяться» браузером, имитировать поведение пользователя, etc.

 

ЧТО ТАКОЕ ПРОДВИНУТЫЙ ФУЛСТЕК-БОТ

Продвинутый бот (англ. Advanced Bot, Full-stack Bot) — это программный комплекс, поддерживающий стек браузера, имитирующий модель поведения реального пользователя и в случае необходимости адаптируемый ботоводом для обхода динамически меняющихся правил фильтрации веб-ресурса.

Именно из-за поддержки функционального стека браузера иногда мы называем такую автоматизированную активность фулстек-ботами, или ещё короче — фулстеками.

 

КАК БОТОВОДЫ МАСКИРУЮТ БОТНЕТЫ

Рассмотрим это на примере популярной ботнет-задачи — парсинга.

Допустим, ботоводу нужно посмотреть, где на ресурсе хранится информация, настроить стандартный HTTP-запрос и понять, из какого поля спарсить цену и название товара. Если веб-ресурc сопротивляется парсингу, то задача усложняется и удорожается. Зачастую в разы и даже в десятки раз.

Вопрос в том, что из обозначенных инструментов и на каком уровне ботоводы используют.

Распространённые методы маскировки ботнета:

  • использование широкого пула IP-адресов из подсетей, откуда идёт легитимный трафик, переключение между IP-адресами;
  • использование анонимных прокси-серверов;
  • низкоинтенсивная активность;
  • имитация суточной пользовательской активности;
  • использование движков браузеров без графического интерфейса, так называемых headless-браузеров;
  • эмулирование пользовательских действий: кликов и движений курсора;
  • использование инструментов для автоматического прохождения проверок CAPTCHA;
  • социальный инжиниринг: жалобы в техподдержку об ошибочных блокировках для отключения или снижения строгости фильтрации трафика.

Рисунок 1. Ботнет, мимикрирующий под профиль пользовательской нагрузки клиента

 

После столкновения с эффективными системами защиты от ботов некоторые ботоводы адаптируют и ещё лучше маскируют свои ботнеты (рис. 1). Соответственно, алгоритмы системы фильтрации тоже должны адаптироваться к смене ботовой тактики.

 

КАК МЫ БОРЕМСЯ С НАСТОЙЧИВЫМИ БОТОВОДАМИ

Продолжим на примере парсинга. При высокой ценовой конкуренции любой крупный маркетплейс парсят несколько профессиональных команд. В этих случаях стандартных методов фильтрации, дефолтных настроек Антибота и даже бот-менеджмента зачастую не хватает для блокирования вредоносной активности.

В таких ситуациях мы подключаем дополнительные модули анализа и защиты, чтобы дообучить Антибота. Эти модули подразумевают более глубокий анализ технических параметров запросов, репутационную оценку легитимности IP-адресов и юзер-агентов, сессионный анализ, особенности прохождения проверок и ряд других мер. 

Из названных инструментов собирается и конфигурируется динамически обновляемая модель (содержащая в том числе ML-модули), которая помогает устранить либо понизить ботовую нагрузку до приемлемого уровня ложноположительных срабатываний системы (False Positive). Уровень строгости фильтрации при этом определяется в плотном взаимодействии с заказчиком, чьи веб-ресурсы мы защищаем от ботов. 

 

ХАРАКТЕРНЫЙ ПРИМЕР ДООБУЧЕНИЯ — ОБЕЛЕНИЕ ЧЕРЕЗ КАПЧУ

Обеление — это процесс признания Антиботом сомнительного запроса как легитимного после успешного прохождения дополнительной проверки (например, CAPTCHA или JS Challenge) и пропуск его до веб-сервера.

Как было сказано выше, некоторые ботнеты активно используют специальные инструменты для автоматического прохождения капчи.

 

МЯГКИЕ АНТИБОТ-МЕРЫ

Некоторым заказчикам достаточно, чтобы была срезана нагрузка ботнетов, которые не умеют проходить капчу, и они готовы мириться с нагрузкой ботнетов, обелившихся через капчу. Это делается ради того, чтобы дать возможность обелиться любому потенциальному пользователю их ресурса. 

 

СТРОГАЯ ФИЛЬТРАЦИЯ

Бывают обратные ситуации. Например, когда нагрузка ботнетов настолько высока, и риск потери информации настолько неприемлем, что капча отключается, а немногочисленным ошибочно заблокированным пользователям предлагается воспользоваться ресурсом, используя стандартные браузеры в стандартных режимах работы.

 

ЗАКЛЮЧЕНИЕ

Продвинутые фулстек-боты в 2024 году — это широкий набор методов маскировки и оперативной адаптации ботнетов под антибот-системы.

Поэтому эффективное отражение настойчивых ботоводов всё чаще основывается на ситуативном дообучении алгоритмов фильтрации. В Servicepipe за это отвечает целая команда из аналитиков, специалистов по машинному обучению и эксплуатации.

Кроме того, накопленный опыт глубокой аналитики запросов ценен тем, что он помогает нам с высокой точностью отделять запросы вредоносных ботов от легитимных пользователей, действующих на веб-ресурсах хаотично и поэтому подозрительно. Например, при выборе подарка на 8 марта в интернет-магазине.

 

Основные понятия, необходимые для лучшего понимания содержания статьи

Что такое бот. Бот (англ. bot, сокращение от чеш. robot) — это программа, выполняющая автоматические повторяющиеся действия (скрипты). За счёт автоматизации боты намного быстрее пользователей выполняют заранее настроенные повторяющиеся задачи. Боты обычно заменяют или имитируют поведение пользователей.

 

Что такое плохой бот. Плохие боты — это программные приложения, выполняющие автоматизированные задачи для целей, противоречащим целям владельца ресурса. Они несанкционированно парсят, то есть собирают авторский контент и данные с сайтов, чтобы переиспользовать их или получить конкурентные преимущества (например, проанализировав цены, уровни запасов продукции, etc.).

Боты используются для скальпинга (получения предметов ограниченного доступа для перепродажи по более высокой цене). Применяются для DDoS-атак, нацеленных на сеть или веб-приложение. Подставляют украденные комбинации логина/пароля пользователей для захвата их учётных записей. Сканируют веб-приложения на уязвимости, злоупотребляют функционалом API и наносят другой вред, описанный в эталонных списках OWASP Automated Threats to Web Applications и API Security Top 10.

Но одинокий плохой бот малоэффективен. Для достижения своих целей злоумышленники объединяют их в крупный программный автоматизированный комплекс, то есть в ботнет.

 

Что такое ботнет. Ботнет (англ. словослияние от robot + network) — это группа ботов, автоматизированные действия которых координируются из единого управляющего центра. Если один и тот же бот развёрнут на 1000 серверов — это уже ботнет. Ботнет создаётся и управляется ботоводом.

 

Кто такой ботовод. Ботовод — человек или группа лиц, использующие ботнет для извлечения собственной выгоды через нелегитимные запросы к сайту, мобильному приложению или API. Разработчики и владельцы ботнета тратят на его поддержание материальные, временные и интеллектуальные ресурсы, чтобы в результате получить ещё больше ресурсов.

 

ООО «СЕРВИСПАЙП». ИНН:7708257951, Erid:2VfnxxmiQEC

Стать автором BIS Journal

Смотрите также

Подписаться на новости BIS Journal / Медиа группы Авангард

Подписаться
Введите ваш E-mail

Отправляя данную форму вы соглашаетесь с политикой конфиденциальности персональных данных

14.02.2025
Oracle готова построить «оракул» с помощью ДНК американцев
14.02.2025
Мнение: У владельцев ГИС часто отсутствует чётко выстроенный процесс работы с уязвимостями
13.02.2025
Standoff 15: кибербитва в мае соберёт около полусотни команд белых хакеров и защитников со всего мира
13.02.2025
Эксперты ВТБ представили краткий скам-обзор января
13.02.2025
В ближайшем будущем QR-коды будут содержать антифрод-измерение
13.02.2025
Минцифры начинает строить свой маленький валидатор навыков
13.02.2025
Мишустин — о весне в российском телеком-законодательстве
13.02.2025
ViPNet SafeBoot 3.2 сертифицирован по требованиям двух регуляторов
12.02.2025
UniCredit торопится выйти из России
12.02.2025
ФСТЭК России объявила о начале масштабных испытаний статических анализаторов

Стать автором BIS Journal

Поля, обозначенные звездочкой, обязательные для заполнения!

Отправляя данную форму вы соглашаетесь с политикой конфиденциальности персональных данных