Согласно обновлённому анализу проекта Open Worldwide Application Security Project (OWASP), атаки с помощью промт-инъекций по-прежнему представляют собой наибольшую угрозу для больших языковых моделей, несмотря на относительно небольшое количество зарегистрированных инцидентов, связанных с этим вектором.
На днях некоммерческий фонд опубликовал третью версию своего списка «Топ-10 для приложений LLM», составленного на основе данных сообщества. Третий год подряд специалисты называют атаки на ИИ-сервисы через текстовые инструкции главной проблемой безопасности, возникающей при использовании инструментов GenAI.
Промт-инъекции от легитимного пользователя или злоумышленника в чат-бот изменяют поведение модели и приводят к целому ряду негативных последствий, включая предвзятость, вредоносный контент и раскрытие конфиденциальной информации.
Отчёт OWASP гласит: «Команды активно борются с внедрением уязвимостей, поэтому в общедоступную базу данных попадает меньше чистых эксплойтов, а публичный подсчёт недооценивает риск, на сдерживание которого уже тратятся значительные средства опытными командами».
Наиболее эффективный подход к борьбе с внедрением уязвимости по умолчанию заключается в проектировании окружающей системы с явным предположением, что границы инструкций в конечном итоге будут преодолены, а также в ограничении того, что модели разрешено делать, и того, до каких значений могут достигать её выходные данные, считают эксперты.
Раскрытие конфиденциальной информации второй год подряд занимает второе место среди самых серьёзных угроз для LLM. Как правило, это происходит, когда защищённые сведения случайно вводятся пользователями в чат-бот и впоследствии опубличиваются при взаимодействии с другими людьми. Эта уязвимость представляет собой серьёзную опасность утечки данных и нарушения нормативных требований для организаций.
По мнению специалистов, угроза в виде чрезмерной самостоятельности моделей значительно возросла, переместившись с шестого места на третье. Механизм позволяет выполнять вредоносные действия в ответ на неожиданные, неоднозначные или искажённые результаты работы LLM. В основном это бывает вызвано избыточными правами доступа, специфической функциональностью или крайней автономностью.
Кроме того, эксперты OWASP включили в топ-10 уязвимостей ИИ-систем дезинформацию, неограниченное потребление (выражается в неконтролируемых выводах) и другие тонкие моменты. Организация порекомендовала ИБ-командам применять квоты для ограничения количества запросов, которые может отправить один источник данных за определённый период времени, а также использовать методы «песочницы» для ограничения доступа нейросетей к сетевым ресурсам, внутренним сервисам и API.
Усам Оздемиров
.jpg)
.jpg)
.jpg)
