Эксперты: настоящего ИИ не существует

В ходе эфира программы «ИБшник на удалёнке» компании Positive Technologies эксперты обсудили искусственный интеллект (ИИ) и его применение в информационной безопасности (ИБ).

Специалист Positive Technologies по машинному обучению Александра Мурзина, руководитель машинного отделения Центра Финансовых Технологий Иван Комаров и основатель компании Deteact, специалист по безопасности приложений и тестированию на проникновение Омар Ганиев сошлись на том, что на данный момент настоящего ИИ не существует, есть только некоторые статистические методы для решения конкретных задач.

«ИИ часто представляется волшебством и это неправильное представление. В основном это из-за того, что много журналистских публикаций и хайпа вокруг этой темы. По большому счёту можно кратко выделить две больших новости, связанных с ИИ. Первая новость — то, что традиционные алгоритмы статистической обработки данных вышли на новый виток благодаря бустингу и нейронным сетям, новым подходам к анализу временных рядом. Вторая большая часть того, что мы наблюдаем, что появилась автоматическая обработка изображений и автоматическая обработка языка. Что касается ИБ, антифрод — это первое или второе применение ИИ», — заявил в начале беседы Иван Комаров.

Его точку зрения поддержали другие эксперты, отметив, что «на текущий момент ИИ не существует, существуют некоторые статистические методы для решения конкретных задач». Александра Мурзина также добавила, что в маркетинговых статьях не пишут, что они используют технологию ИИ. По её словам, в технической среде термин «ИИ» не применяется. Скорее говорится о статистике — это машинное обучение, deep learning, нейросети либо какие-то более простые традиционные методы.

Вместе с тем какие-то части ИИ уже давно применяются в ИТ и ИБ. Например, машинное обучение в WAF и антивирусных системах — везде, где есть большой объём информации, который нужно быстро проанализировать и сделать какой-то вывод. «Машинное обучение — это не волшебная палочка. Но хорошо сформулированные задачи, для которых есть хорошие данные, машинное обучение решает. И это очень здорово. И мне с технической стороны это не видится как маркетинговая уловка, такие решения действительно существуют довольно давно и они неплохо работают»,  — отметила Александра Мурзина.

Ещё один кейс, который уже доступен машине — сравнение человека с документом, понимание живой это человек или нет. Конечно есть вероятность ошибки, поэтому не стоит полностью полагаться на машину и не в критических ситуация, но это позволяет автоматизировать многие бизнес-процессы. «Мы помимо computer vision много усилий тратим на обработку данных. Это проблема, которая существует у любой организации, которая работает с клиентами. У нас клиентов очень много и к сожалению, не не везде наши системы стоят. Поэтому качество информации поступает самое разное, я говорю о денежных переводах. А информация — это требования по идентификации, то есть мы должны понимать, что фамилия имя отчество - это действительно фамилия имя отчество, а не другое поле или какая-то информация, которая введена неверно. И когда миллионы таких транзакций идут, конечно, здесь уже человек не может справиться. Поэтому мы машиной фильтруем подозрительные кейсы и потом помогаем уже людям принять решение», — рассказал Иван Комаров.

Однако Омар Ганиев выразил опасение, что остаётся главный риск — нужный алгоритм обучат на плохих данных или обучат неправильно и он будет принимать решения, которые нельзя интерпретировать. По его словам, «это особенно критично не в ИБ, а в медицине, когда скажут, что диагноз такой-то и нужно лечить такими-то лекарствами, но непонятно почему, и сложно полагаться на это решение».

Также остаётся открытым вопрос про саму безопасность ИИ. Согласно многим исследованиям, стоит заботиться не только о самих моделях, но и о библиотеках инфраструктуры, в которую они встроены. «Сейчас очень актуальным является то, что у нас очень много данных и все хотят с ними работать, а владельцы данных не очень хотят ими делиться, но тоже бы хотели обучать какие-то модели. Например, банки могли бы делиться информацией и создавать одну антифродовую модель, но не очень хочется. Поэтому такие темы как federated learning (обучение у себя и объединение результатов у других), такие темы как в целом распределённое обучение, тема privacy-preserving machine learning. Это про то, что обучить-то на данных можно и у себя, но когда модель внедряется в продакшн, это тоже в некотором смысле ставит под угрозу безопасность данных, на которых было обучение. И все эти тенденции сейчас актуальны», — заключила Александра Мурзина.