Искусственный интеллект и его методы защиты отбрасывают кибербез в 90-е годы. Таково коллективное мнение ИБ-исследователей, которые выступили докладчиками на недавно прошедшей в Лас-Вегасе конференции Black Hat.
Например, Ребекка Линч и Рич Харанг из Nvidia продемонстрировали внедрение вредоносных данных в ИИ-агентов в формате наподобие SQL-инъекций, только вместо кода в модель заслали ложные данные. Спикеры отметили, что такого рода «отравление» может привести к неверным размышлениям нейросети, а значит, и неверным ответам.
На этот случай существуют фильтры, но выступавший вместе с остальными на мероприятии Тамир Ишай Шарбат из ИБ-компании Zenity подчеркнул, что это не панацея — защита подразумевает фильтры на входе и выходе, но между LLM и её инструментами такого контроля нет. Это создаёт возможность получения важных данных с помощью промптов без взлома кода. Эксперт также сообщил, что его коллегам удалось взломать нейросети Copilot, ChatGPT, Gemini, Einstein и Cursor, порой «натравливая» одну на другую. После Microsoft отправила свою модель на доработку, но Шарбат уверен, что злоумышленники всё равно смогут придумать промпты для обхода блокировки.
В Лас-Вегасе говорили и о том, что ИИ заставляет разработчиков забывать об уроках, извлечённых за последние 25 лет, в стремлении максимально быстро внедрять технологии и получать прибыль. В частности Венди Натер, директор по исследовательским инициативам в 1Password, заметила: «Агенты ИИ подобны младенцам. За ними нужно следить и следить, чтобы они не делали глупостей. На рынок также выходит совершенно новое поколение людей, которые совершают те же глупые ошибки, что и мы много лет назад».
По мнению безопасников, ИИ-компаниям сегодня нужно сосредоточиться на подробном тестировании своих продуктов — чтобы наперёд знать все возможные ходы хакеров. Однако на конференции упоминалась ещё одна экзистенциальная проблема: пользователи дают нейросетям доступ ко всему подряд, а разработчики создают слишком универсальные модели.
«Тот же ИИ, который отвечает на вопросы о Шекспире, помогает вам разрабатывать код. Это чрезмерное обобщение приводит к увеличению поверхности атаки», — заявил Натан Хамиел из Kudelsky Security, добавив, что вендоры должны разрабатывать специализированные ИИ-решения, ориентированные на конкретные проблемы.
Кроме того, по словам эксперта, людям необходимо в принципе снизить ожидания от нейросетей: «Не относитесь к агентам ИИ как к высокотехнологичным, сверхразумным системам. Относитесь к ним как к пьяным роботам».
.png)