AI, ML и ИБ

AI, ML и ИБ

Мода, в том числе и на технологии, меняется быстро. Только вчера вкладывались в биткоины и молились на блокчейн, как на панацею от всех бед, а сегодня на пьедестале – Искусственный интеллект (ИИ). С уст не сходит «Machine learning», тоже похожее на молитву. Теперь оно, стало быть, все и решит, как на производстве, так и в обслуживании, и, конечно, в сфере ИБ.

Может быть, и решит. Но давайте посмотрим, хватит ли на это денег?

ПРО ДЕНЬГИ

В развитие цифровых технологий вкладываются не только частные компании, но и государство. Так, предварительный бюджет национальной программы «Цифровая экономика РФ» составляет более 3,5 трлн руб. Планируется создание новейшей информационной инфраструктуры: развитие дата-центров и 5G сетей связи, широкое использование платформ для работы с большими данными, развитие направлений искусственного интеллекта, машинного обучения и интернета вещей. По данным из разных источников, на новейшие цифровые технологии из 3,5 трлн руб. будет потрачено 125,3 млрд руб., а на защиту граждан и компаний от угроз со стороны хакеров – всего 18 млрд. ИБ вышла из основного тренда и многие рассматривают защиту информации как одну из областей, где можно успешно применить искусственный интеллект.

По оценкам международной исследовательской компании Markets and Markets, рынок искусственного интеллекта к 2022 г. вырастет многократно – при ежегодных темпах роста совокупного (по разным направлениям ИИ) дохода от 13,9 до 44% в год. Так, мировой рынок распознавания лиц вырастет с $3,37 млрд (2016 г.) до $7,76 млрд (2022 г.). В сфере FinTech совокупный годовой темп роста составит 40,4%, рынок ИИ в этой области на 2022 г. оценивается в $7,305 млрд. Рынок систем машинного обучения в широком спектре областей (банковской, финансовой, здравоохранении, торговле, телекоммуникационных системах, сфере госуправления, обороны, производства, энергетики, а также ЖКХ) вырастет с $1,03 млрд (2016 г.) до $8,81 млрд. (2022 г.). Средний годовой темп роста в течение прогнозируемого периода составит 44,1%.

В ЧЕМ ИИ ПОМОГАЕТ ИБ?

В сфере ИБ применение ИИ активно ведется уже порядка 15 лет: сначала при разработке эвристических модулей антивирусов и при создании защиты веб-серверов, дальше – больше. Сегодня ИИ и технологии машинного обучения помогают отслеживать стабильную работу систем, ищут уязвимости и аномалии, тем самым повышая вероятность обнаружения киберугроз, сокращают время реакции на инциденты в компьютерных сетях, с их использованием работают системы антивирусной защиты. Без новейших систем класса SIEM с использованием технологий машинного обучения и ИИ нельзя представить работу современных SOC. ИИ успешно применяется при сборе и анализе информации для выявления взаимосвязей в случае расследования хакерских атак на объект. Однако решающая роль в паре «машина-человек» пока остается за человеком. Тем более, что в области ИБ надо смотреть далеко вперед, а не только изучать уже использованные методы атак.

В РУКАХ КИБЕРПРЕСТУПНИКОВ

Последние достижения в области автоматизации процессов с применением ИИ успешно осваивают киберпреступники. В феврале 2018 г. группа экспертов подготовила 100-страничный отчет «Злонамеренное использование искусственного интеллекта: прогнозирование, предотвращение и смягчение последствий» (The Malicious Use of Artificial Intelligence Forecasting, Prevention, and Mitigation), в котором проанализированы потенциальные угрозы, которые возникнут при использовании злоумышленниками искусственного интеллекта и систем машинного обучения.

В этом отчете 26 ученых из 14 ведущих компаний и университетов, в том числе Стэнфорда и Йеля (США), Оксфорда и Кембриджа (Великобритания) вместе с организациями гражданского общества и представителями индустрии ИБ рассматривают ряд злоупотреблений ИИ, фокусируя основное внимание на машинном обучении и вопросах ИБ.

По мнению экспертов, ИИ – это отличное применение компьютеров для выполнения аналитических функций, присущих человеку, исполняемых со скоростью машины. Но компьютер не имеет этической предвзятости, и потому ИИ можно использовать для различных целей, как добрых, так и злых. В одних руках обнаруживший уязвимость нулевого дня ИИ нейтрализует ее, в других эта «дыра» будет использована как точка проникновения в систему.

В настоящее время алгоритмы ИИ в системе «учатся» на базе миллионов образцов и моделей поведения реальных вредоносных программ. Обнаружение и изучение нового алгоритма действий, его анализ и оценка потенциальной угрозы происходят за считанные секунды со скоростью и точностью, недоступной для человека. Работа ИИ зависит от качества алгоритма, по которому ведется обучение, и целостности набора исходных данных.

Где возможны потенциальные злоупотребления? В двух областях, говорят эксперты: в неверно написанном алгоритме или неполном наборе исходных данных. Алгоритмы машинного обучения имеют уязвимости, как специфичные для этой сферы, так и традиционные, например, переполнение памяти. Поэтому можно говорить о сфере ИБ, до сих пор не привлекавшей внимания специалистов: о кибербезопасности систем машинного обучения и их защите от нападений извне, при которых киберпреступники могут использовать собственные возможности системы для увеличения скорости и точности нападений на оборону системы, поскольку алгоритмы не понимают, с кем и как сражаются.

Для проверки целостности данных возможно применение различных методов, в том числе ограничение взаимодействия ИИ с системой, проверка систем на аномалии и проверка поставщиков данных, например, вредоносного ПО, которое используется при разработке антивирусных программ следующего поколения. Необходимы и исследования построенной с помощью ИИ модели на «мертвые зоны» или «слепые пятна», чтобы полностью обезопасить систему.

ТРИ НАПРАВЛЕНИЯ

Авторы отчета выделяют три направления вредоносного использования ИИ - цифровое, физическое и политическое. Они считают, что ИИ в руках злоумышленников позволит проводить широкомасштабные, целевые и высокоэффективные хакерские атаки. Индустрия ИБ уже осознает потенциальное злонамеренное использование ИИ и ищет пути реакции на такой сценарий. Как отмечают аналитики, компании, специализирующиеся на безопасности, должны конкурировать не только между собой, но и с хакерами.

Физическое направление использования ИИ несет значительный этический аспект. Область вредоносного использования ИИ – физическая «идентичность». В последние годы активно развивается индустрия распознавания изображений. Это может иметь как положительные, так и отрицательные последствия. Вычисление преступников в толпе – положительный эффект системы. А, например, алгоритмы определения сексуальных предпочтений людей по фотографиям в соцсетях (их разрабатывали исследователи из Стэнфорда) может негативно отразится на гражданах, проживающих в странах с авторитарными режимами.

Есть доля негатива в системах распознавания не только лиц, но и речи. С помощью ИИ в сети могут появиться «поддельные» пользователи с синтезированной ИИ речью, может распространяться контент, созданный с помощью ИИ, для дискредитации отдельных лиц и ослабления общественного мнения по отдельным вопросам. В связи с этим появится необходимость адаптации систем аутентификации пользователей как физических лиц, так и системы «человек-машина, имитирующая человека».

К этой же проблеме можно отнести и создание многочисленных фейковых аккаунтов в социальных сетях, распространение фальшивых новостей, целевые фишинговые атаки. И это переводит использование ИИ в физическом плане в политический аспект проблемы.

Целенаправленная пропаганда и правдоподобные поддельные аккаунты и видеоролики представляют собой мощные инструменты для манипулирования общественным мнением, что уже и было опробовано в ходе предвыборных кампаний в США и Европе. Способность ИИ собирать и анализировать информацию о людях, воздействовать на них, может привести к вторжению государства или иных структур в частную жизнь граждан, угрожать радикальным изменением политических сил между отдельными лицами, корпорациями и государствами.

СПЕЦИАЛИСТЫ ПРОТИВ ЗАКОНОДАТЕЛЕЙ

Среди этических проблем использования ИИ государственными органами встают и вопросы законотворческой деятельности. Часто законодатели не разбираются детально в технических аспектах проблемы, и из-под их пера выходят плохо разработанные нормативные акты. С другой стороны, технические специалисты не хотят заниматься нормативной базой. В то же время многие из них озабочены тем, что раскрытие информации о злонамеренном использовании ИИ может испортить отношение к теме, что приведет к сокращению финансирования или преждевременному регулированию направления.

РЕКОМЕНДАЦИИ

В конце отчета дается несколько рекомендаций по смягчению рисков и урегулированию угроз ИБ при массовом использовании искусственного интеллекта. Необходимы:

1. переосмысление кибербезопасности и тесное сотрудничество между политиками и исследователями;

2. принятие этических норм и практик самими исследователями ИИ;

3. определение и методы решений проблем систем двойного назначения с применением ИИ;

4. расширение участия заинтересованных сторон и экспертов, участвующих в обсуждении вопросов использования ИИ и машинного обучения. Необходимо изучение различных моделей открытости при обмене информацией, продвижение культуры ответственности и поиск как институциональных, так и технологических решений, позволяющих уравновешивать баланс в пользу специалистов в области ИБ.

КРИТИКА

Критики доклада - эксперты в области защиты данных - не видят серьезных угроз создания и распространения поддельных новостей, поскольку вместе с усовершенствованием систем машинного обучения и ИИ, генерирующих фейковые новости или аккаунты, одновременно совершенствуются методы и системы их распознавания с использованием того же ИИ.

Основываясь на отчете экспертов, можно предположить, что широкое использование систем искусственного интеллекта значительно упростит решение многих проблем, а вопросы этичного использования возможностей ИИ зависит от того, в чьих руках он находится. Эти вопросы уже сейчас должны обсуждаться профессиональным экспертным сообществом и представителями органов государственной власти. Тем более, что проблем с финансированием направления ИИ в рамках программы «Цифровая экономики» в России не ожидается.