Конференция Pro DevSecOps и брифинг AI Digital Future: нейросети подстёгивают противостояние «щита и меча»

Конференция Pro DevSecOps и брифинг AI Digital Future: нейросети подстёгивают противостояние «щита и меча»

Конференция Pro DevSecOps, организованная компанией Swordfish Security в партнерстве с AppSec Solutions, прошла вчера в Москве. В перерывах между сессиями был проведен пресс-брифинг под девизом AI Digital Future, на котором эксперты рассказали об актуальных вопросах, связанных с развитием искусственного интеллекта и новыми вызовами в ИБ-сфере.

В брифинге приняли участие генеральный директор ГК Swordfish Security Александр Пинаев, начальник Управления ИБ Ассоциации ФинТех Александр Товстолип и старший управляющий директор AppSec Solutions Антон Башарин. Также ГК Swordfish Security представляли управляющий партнер Юрий Сергеев, старший директор по развитию ИИ-технологий Юрий Шабалин и руководитель направления по анализу данных и ИИ Андрей Прохоренко.

Юрий Сергеев ознакомил слушателей с первыми результатами совместного исследования Ассоциации ФинТех и Swordfish Security, которое призвано оценить уровень готовности финансового сектора к внедрению практик безопасного искусственного интеллекта. Как выяснилось, 25% опрошенных уже столкнулось с инцидентами в области AI Security, а 13% не смогло дать определенного ответа. Поэтому, возможно, пострадавших в реальности намного больше. 75% финтех-компаний рассматривает в качестве ключевой угрозы утечку конфиденциальных данных.

Приоритеты в решении названных проблем для организаций финтех-отрасли распределились следующим образом: повышение осведомленности и обучение сотрудников — 88%, разработка внутренней политики AI Security – 75%, интеграция инструментов защиты — 63% и проведение аудита (или тестирование) ИИ-систем — 62%. Примерно две трети участников принимает некий гибридный подход против рисков, возникающих при внедрении нейросетей, отметил Александр Товстолип. Они не отдают бизнес-процессы полностью на откуп искусственному интеллекту — применяется ручной контроль для проверки полученных решений.

В настоящее время параллельно несколько команд работают над подготовкой отечественного фреймворка стандартов безопасности ИИ. Версию от Swordfish Security представил Андрей Прохоренко. Комплексный процесс включает такие этапы, как проектирование, управление данными, разработка модели, развертывание и эксплуатация. Фреймворк учитывает стандарты и регулирование в РФ — от управления и риск-менеджмента до доверия, этики и ответственного использования.

Юрий Шабалин акцентировал внимание участников на дополнительных рисках, создаваемых новыми технологиями. Грамотно применяя промпт-инъекции, даже не обладающий углубленными знаниями пользователь может обмануть модель и получить доступ к чувствительной информации. Другим бичом для сотрудников, работающих с LLM, являются отравление данных и бэкдоры.

Антон Башарин, который совмещает должность директора компании с деятельностью по тестированию технологий в Консорциуме исследований безопасности ИИ, признал, что инструментария в данной области крайне мало. По понятным причинам, «мы не можем вечно продолжать работать на основе зарубежных решений и open source». В Консорциуме применяется серьезный подход в подготовке некой «матрицы оценки доверия», но чтобы ответить на конечный вопрос — можем ли мы использовать какую-то систему, модель или технологию — надо пройти достаточно длинный путь.

«Если посмотреть на историю противостояния щита и меча, то меч был всегда в более простой позиции. — заметил Александр Пинаев. — Сейчас искусственный интеллект дает хакерам дополнительные возможности. Любой пользователь, даже школьник, совершенно не понимая даже принципа программирования, может модифицировать какого-нибудь «червя» и запустить его».

Достаточно недосмотреть лишь в одной точке безопасности — и произойдет утечка. Поэтому сторона защиты должна действовать более системно. Компания не может потратить весь бюджет на закрытие одного класса уязвимостей. Как резюмировал Пинаев, необходимо вкладываться в безопасность по всему периметру, приобретать надежные ИБ-продукты, улучшать процессы, принимать организационные меры, обучать и тренировать людей.