Касперская: Системам ИИ полностью передавать решения нельзя

Риски широкого распространения и использования искусственного интеллекта обсудили участники пленарной сессии «Использование систем искусственного интеллекта: вопросы доверия и информационной безопасности» Дня Кибербезопасности Форума GIS DAYS 2023, который прошел 6 октября в Москве.

«Системы ИИ — любые системы, имитирующие когнитивные функции человека, — начала выступление с определений Наталья Касперская, Президент ГК «InfoWatch», сооснователь компании «Лаборатория Касперского», отвечая на вопрос модератора сессии Артёма Калашникова, управляющего директора Центра информационной безопасности дочерних и зависимых обществ (Газпромбанк) о решении проблемы «чёрного ящика» ИИ. — Антивирусные программы — пример систем ИИ. Встроенные системы Т9, которые подставляют слова в телефоне — системы ИИ».

«И мне неизвестно, чтобы проблема "чёрного ящика" была решена», — отметила Наталья Касперская, уточнив, что надо говорить про системы машинного обучения, поскольку в них сосредоточены наибольшие риски. «Машина делает что-то сама, что мы не в состоянии понять. И это является проблемой “чёрного ящика”, — заметила докладчик. — Эту задачу невозможно решить, но можно снижать риски».

В качестве примеров Касперская привела возможность использовать доверенные дата-сеты, на которых система будет обучаться, и сертифицировать процесс их разработки, можно брать доверенные фрейморки. Однако и тут есть вопрос доверия, поскольку за основу берутся разработки иностранных ИТ-гигантов. «Если предположить, что у нас есть доверенные платформы, мы не может гарантировать, что система не примет решения, которое не ожидаем, — считает спикер — Для систем ML — это некая побочная функция. Мы должны понимать, что в некоторых случаях можем получить непредсказуемый результат».

Эксперт также отметила, что когда ставится вопрос о доверенности, надо учитывать, помимо прочих, и гуманитарные риски принятия решения о людях: увольнение, расчёт дозы лекарства и так далее. В этом случае есть риск принятия неверного решения и вопрос ответственности за него.

«Системам ИИ полностью передавать решения нельзя», — полагает Наталья Касперская, отметив, что риск того, что система примет неправильное решение, должен быть нивелирован человеком, должна быть ответственность.

Отмечая другие гуманитарные аспекты использования ИИ, докладчик отметила тенденцию деградации умений человека: калькулятор отучил его считать, навигатор — ориентироваться на местности. Из программ обучения вторых пилотов исключили раздел ручной посадки самолетов. Многие медицинские диагнозы ставятся на основе BigData, врачи теряют профессиональные навыки и интуицию. Это огромные социальные риски, которые видны на больших данные. При опоре на дата-сеты через два поколения «мы получим искусственный интеллект и глупых людей», считает эксперт.

 

Медиа Группа «Авангард» в рамках GIS DAYS 2023 выступила организатором ключевой дискуссии в Москве.

6 октября, 2023

Подписаться на новости BIS Journal / Медиа группы Авангард

Подписаться
Введите ваш E-mail

Отправляя данную форму вы соглашаетесь с политикой конфиденциальности персональных данных

22.01.2026
Кибербезопасники из Mandiant применяют мягкий шантаж
22.01.2026
«На данный момент у Max нет никаких явных преимуществ»
22.01.2026
Центральный университет и ЛК второй раз подготовят российскую ИБ-сборную
22.01.2026
Эксперты Gartner объявили об эре «нулевого доверия» из-за краха моделей ИИ
22.01.2026
«НМ-Тех», «Элемент» и «Ангстрем» объединятся в суперкомпанию?
21.01.2026
Пошла волна. ПСБ интегрировал новую систему бесконтактной оплаты
21.01.2026
РЭУ: Участие экспертов ГК InfoWatch в учебном процессе позволит студентам изучать современные стандарты ИБ
21.01.2026
США и Британия сосредоточили усилия на безопасности промышленных сетей
21.01.2026
За нелегальный майнинг в энергодефицитных регионах — минус 2 млн рублей
21.01.2026
Минцифры собирает антидипфейк-команду

Стать автором BIS Journal

Поля, обозначенные звездочкой, обязательные для заполнения!

Отправляя данную форму вы соглашаетесь с политикой конфиденциальности персональных данных