К 8 марта! Гендерный bias в ИИ для киберзащиты

К 8 марта! Гендерный bias в ИИ для киберзащиты

ИИ-алгоритмы не нейтральны, они воспроизводят закономерности, в том числе гендерные стереотипы, заложенные в данных для их обучения. Явление, когда модель ассоциирует определенные роли, качества или действия с конкретным полом, называется гендерный bias («смещение», англ.). Проблема гендерной предвзятости алгоритмов провоцирует не только некорректные ответы в выдаче — она создает бреши в системах киберзащиты.

Алгоритмы, обучавшиеся на преимущественно «мужских» выборках прошлых лет, могут пропустить атаки, адаптированные под «нестандартное» поведение и парализовать работу систем безопасности ложными срабатываниями на действия добросовестных сотрудниц, рассказала бизнес-партнер по кибербезопасности Cloud.ru Юлия Липатникова.

Что такое гендерный bias в ИИ? 

Гендерный bias — одно из самых сложных понятий современной теории ИИ. При этом искусственный интеллект не рождает предвзятость сам по себе, он не способен «дискриминировать» или «отдавать предпочтение». Все, что он делает, — воспроизводит закономерности, присутствующие в данных. Впервые о проблеме bias заговорили еще в 2010-х годах, когда исследователи начали анализировать результаты работы LLM и систем компьютерного зрения, обученных на открытых интернет-корпусах. 

Например, исследование ученых из Корнеллского университета в 2016 году показало, что модель Word2Vec — одна из первых векторных моделей слов, — ассоциирует женщину со словами вроде «медсестра» и «дочь», а мужчину — со словами «программист» и «инженер». Это не была ошибка системы, она просто воспроизводила то, что видела в текстах, написанных людьми. 

Еще один простой пример — классификаторы резюме. Если обучающий набор состоял преимущественно из мужчин-программистов, система будет считывать мужские CV как более подходящие для технических вакансий. В 2018 году Amazon прекратил использование подобной внутренней модели после того, как выяснилось, что она регулярно снижала рейтинг заявок от женщин. Алгоритм работал на базе HR-статистики, следуя которой женщины реже занимали технические должности. 

Подобные перекосы наблюдались и в других областях, поэтому исследователи оказались вынуждены специально «дообучать» нейросети, чтобы убрать гендерную, возрастную или этническую предвзятость.

Что провоцирует перекос данных в ИИ-системах для ИБ? 

Системы ИИ/ML для кибербезопасности, например, для обнаружения аномалий, классификации вредоносного ПО, анализа поведения и др., обучаются на огромных массивах данных. В их числе — логи сетевых атак, образцы вирусов и сигнатуры, данные о действиях пользователей (легитимных и злонамеренных) и отчеты об инцидентах. Казалось бы, код и пакеты трафика не имеют пола. Но проблема в том, что безопасность — это не только про технику, но и про поведение людей. А поведение как раз имеет гендерные особенности, которые алгоритмы могут неверно истолковать.

«Смещение» в этих датасетах происходит по нескольким причинам. 

1. Гендерный дисбаланс у хакеров. Точную демографию киберпреступников определить довольно трудно, но, компания TrendMicro в своем исследовании аудитории хак-форумов склоняется к тому, что женский пол составляет около 30% от общего числа киберпреступников. Если допустить, что 70% кибератак в прошлом проводились условно «мужскими» аккаунтами, из «мужских» IP-пулов или ассоциировались с активностью в «мужских» сегментах интернета (те же хак-форумы), алгоритм учится связывать «мужскую» модель поведения с повышенной угрозой.

2. Исторический перекос в ИБ-командах. Проблема гендерного дисбаланса актуальна и для команды «защитников». Модели UEBA (системы для автоматического обнаружения аномалий в поведении), которые строят «профиль нормального поведения» для сотрудника, считают «нормой» поведение, которое преобладает для большинства в группе. При этом, согласно данным ISC2 за 2025 год, женщины в индустрии составляют лишь 22% кадрового состава.

Отклонение (например, другой стиль общения в корпоративном мессенджере или почте, активность в «нетипичное» время, посещаемые сайты, установленные приложения и т. д.) может быть ошибочно помечено как подозрительное поведение. Для России, где кадровый голод в ИТ вынуждает работодателей активнее нанимать женщин (по данным hh.ru, их доля на руководящих позициях выросла на 12% с 2021 по 2024 год), эта алгоритмическая «слепота» также является актуальной проблемой.

3. Стереотипы в описаниях инцидентов. В отчетах SOC-аналитиков, которыми также чаще являются мужчины, для описания действий злоумышленника зачастую используются существительные мужского рода и местоимения «он», «его» вместо гендерно-нейтральных «они» и «их». Например, формулировки: «Злоумышленник пробил защиту», «Хакер взломал», «Он маскировал следы». В результате модель устойчиво привязываются к мужскому образу.

Как это вредит отрасли ИБ?

Последствия гендерного bias в сфере кибербезопасности — это прежде всего слепые зоны в обнаружении угроз. Системы менее чувствительны к атакам, исходящим от женских аккаунтов или использующими «нетипичные» для мужчин-хакеров тактики. Например, долгая социальная инженерия, когда хакер пишет в мессенджере под видом новой сотрудницы, общается вежливо, входит в доверие, а после просит помощи в настройке доступа или скинуть документы и пр. 

Также это могут это атаки через нетехнических сотрудников (бухгалтерия, HR, PR), например, злоумышленник нацеливается на бухгалтера, система видит, что учетная запись из «женского» отдела, время — рабочее, происходит отправка Excel-файлов, в результате трафик не блокируется, хотя на деле происходит утечка финансовой документации. ИИ не ошибается в буквальном смысле — он делает статистически вероятные, но систематически перекошенные выводы. Если исторически сложилось так, что 99% фишинговых атак в компании приходилось на отдел продаж (где работает 80% мужчин), а бухгалтерия (где 90% женщин) почти никогда не являлась целью, модель может научиться меньше проверять бухгалтерию. Это эффективно с точки зрения нагрузки на систему, но также создает «слепую зону». 

Более того, в технических отделах пересылка кода через мессенджер может быть заблокирована, а в отделах маркетинга или продаж (часто преимущественно женских) пересылка макетов, презентаций и договоров через мессенджеры — это норма, система это разрешает. Поэтому хакер взломавший аккаунт маркетолога, может переслать чувствительную информацию в мессенджер, и система защиты на это не срегаирует. Злоумышленники могут этим пользоваться, намеренно симулируя «низкорисковые» с точки зрения алгоритма модели поведения. 

В настоящий момент публичных описанных случаев эксплуатации гендерного bias нет. Сама проблема bias в ИИ для ИБ осознана недавно, и хакеры только начинают применять эти механики. Однако есть много кейсов, описывающих взломы корпоративный систем, в результате эксплуатации именно гендерных стереотипов. 

Например, в середине 2010-х два американских специалиста по кибербезопасности, Аамир Лакхани и Джозеф Муниз, получили задание провести пентест (тест на проникновение) для правительственного агентства США, специализирующегося на кибербезопасности. Они создали фейковый профиль «Эмили Уильямс» — 28-летней выпускницы MIT с 10-летним опытом, использовав фото официантки из местного ресторана (с ее согласия). Профили в соцсетях они заполнили реалистичными деталями: постами, резюме, упоминаниями на форумах. 

Через 15 часов у «Эмили» было 60 друзей на Facebook и 55 на LinkedIn среди сотрудников агентства и подрядчиков. Мужчины охотно помогали «новой сотруднице»: получить ноутбук, настроить VPN и корпоративную почту. В процессе пентестерам удалось взломать ПК главы отдела безопасности через фейковую «открытку ко дню рождения» и получить доступ к чувствительным документам о государственных атаках. Позже аналогичные тесты проводились в сфере банков и здравоохранения и показали аналогичные результаты.

Это классический пример эксплуатации гендерного социального стереотипа («женщина — не угроза, она милая, ей можно доверять»). Сегодня, когда NLP-модели обучаются на тысячах таких кейсов, они усваивают: активность от лица «Эмили Уильямс» — это низкорисковое поведение. А значит, современная система ИИ с высокой вероятностью пропустит атаку, стилизованную под такой же «безобидный» женский профиль.

Вторая очевидная проблема — дискриминация при расследованиях. Внутри компании алгоритм может чаще считывать женщин-сотрудниц как «внутреннюю угрозу» или «нарушителя внутренней политики» из-за отклонения от «средне-мужской» нормы поведения в сети. Исследование ГК «Солар», проведенное в 2024 году, показало, что более 70% случаев нарушения политик информационной безопасности происходили по вине женщин. Казалось бы, статистика однозначно маркирует сотрудниц как «группу риска», но женщины нарушают правила... чтобы работать лучше и быстрее. Почти четверть случаев (24%) — это отправка рабочих документов на личную почту или в мессенджеры, чтобы доделать задачи вечером дома. Еще 20% — сознательный обход регламентов ради ускорения бизнес-процессов, например, загрузка документов в файлообменник без пароля, чтобы оперативно согласовать договор с контрагентом. Лишь 4% связаны с подработкой в рабочее время, и только 7% — с решением личных вопросов.

Мужчины, напротив, нарушают правила реже, но их мотивы чаще всего корыстны. Доля мужчин в общем объеме нарушений — всего 29%, однако в 23% случаев за этим стоит умышленное хищение данных: клиентских баз, партнерских списков, конфиденциальных документов. Например, зафиксирован случай, когда уволившийся сотрудник целенаправленно скачал из корпоративного хранилища списки клиентов, замаскировав названия файлов перед отправкой. 

Модель видит лишь голые факты: аккаунт женщины, она отправляет документы во внешний мессенджер. Это отклонение от «среднестатистической» нормы, которая выводилась преимущественно на действиях мужчин, реже пересылающих файлы вовне. Алгоритм повышает уровень риска сотрудницы, маркирует ее как потенциальную внутреннюю угрозу и отправляет инцидент на разбирательство. 

Плюс, модель может принять решение на основе косвенных признаков, коррелирующих с гендером. Например, если сотрудница чаще других обращалась в техподдержку с вопросами. Модель безопасности может расценить частые обращения как «разведку» или «нетипичную активность», хотя на самом деле это просто стиль работы. Это ведет к необоснованным проверкам и создает порочный круг: предвзятые решения алгоритма записываются в логи и используются для дообучения моделей. Таким образом, bias не только сохраняется, но и усиливается.

Есть ли лекарство от стереотипов?

Возникает закономерный вопрос: если статистика собрана, проблема обозначена и риски доказаны — почему индустрия до сих пор не начала руководствоваться принципом «у угрозы нет пола»? Казалось бы, решение лежит на поверхности: нужно просто отучить алгоритмы обращать внимание на пол и оценивать только поведение — опасно или безопасно. Но процесс буксует по нескольким причинам:

1. Нельзя отделить опасное действие от неопасного без контекста ситуации, в которой это действие было осуществлено. В рассматриваемом нами примере (исследование ГК «Солар») женщина, которая скинула файл в мессенджер, чтобы доделать отчет вечером, и хакер, ворующий базу данных, с точки зрения системы выглядят одинаково — файлы отправлены наружу. Чтобы понять разницу, нужно понимать контекст, а ИИ пока этого не умеет.

2. Заказчики обычно не требуют от вендоров проверять алгоритмы на предвзятость. В своей практике я не сталкивалась с тендерами, где был пункт о необходимости предъявить артефакты того, что алгоритмы работают одинаково для всех групп сотрудников. 

3. В индустрии существует устойчивое убеждение, что требования социальной справедливости мешают реальной безопасности. Многие специалисты рассуждают так: главная задача — среагировать на угрозу, а кто именно попадет под подозрение — вопрос второстепенный. Но этот подход опасен, так как модель неизбежно начнет искать самые простые признаки, не вникая в контекст. А самые простые признаки — это как раз корреляции с полом, возрастом или должностью. 

Частично решить проблему можно уже сейчас.

Во-первых, использовать качественные и разнообразные данные для обучения. Если система будет тратить 90% времени на наблюдение за одной группой (условно, мужчины-айтишники), потому что «их исторически чаще атакуют», и игнорировать другую группу (женщины-бухгалтеры), это сделает их идеальной мишенью и создаст новые вектора атак. Современные технологии требуют учета такого рода рисков на этапе проектирования систем, а любые данные, используемые для обучения, должны проходить аудит на предмет потенциальной дискриминации. Только так можно минимизировать риск того, что алгоритм начнет воспроизводить стереотипы.

Во-вторых, организовать регулярные аудиты. Нужны инструменты, которые будут постоянно проверять решения ИИ на предмет перекосов. Если ИИ поднял флаг «инсайдер» из-за действий сотрудницы, работник службы КБ должен понимать почему. «Так решила нейросеть» — неприемлемый ответ в трудовом споре. Постоянный контроль работы систем безопасности — это гарантия того, что человек не будет несправедливо наказан просто потому, что его действия выбиваются из статистического шаблона.

Третье — это гендерное разнообразие в командах. Согласно результатам исследования e2e-assure, женщины чаще мужчин воспринимают защиту данных как коллективную ответственность (50% против 30%). Чем разнообразнее будет команда, тем больше потенциальных угроз она сможет предвидеть. Хорошая новость в том, что число женщин в индустрии растет, в том числе в ИБ-команде Cloud.ru. В штате ЦКЗ сейчас 12% женщин, 3% — на руководящих позициях. Для сравнения, в 2021 году женщин было всего 7% и ни одной на руководящих позициях. 

Сфера кибербезопасности живет по принципу «нулевого доверия» (Zero Trust), когда надежность внутренней сети постоянно ставится под сомнение. Используя для тестов ИИ-системы, мы даем машине «скальпель», чтобы она делала аккуратные надрезы (блокировала, банила, отзывала привилегии), но если этот скальпель будет плохо заточен, это может нарушить работу всех жизненно важных систем. Поэтому борьба с bias в ИИ-алгоритмах — это не дань моде и отработка «социальной повестке», а практическая задача по повышению устойчивости систем безопасности.