TrendAI: ИИ-навыки представляют собой новую опасную уязвимость

В компании TrendAI предупреждают, что навыки, используемые для выполнения операций на основе искусственного интеллекта, сопровождаются риском кражи данных, саботажа и сбоев. Авторы свежего отчёта пришли к выводу, что такие ИИ-скиллы представляют собой «артефакты, объединяющие удобочитаемый текст с инструкциями, которые могут читать и выполнять большие языковые модели».

Сюда входят такие элементы, как человеческий опыт, рабочие процессы и операционные ограничения — вплоть до логики принятия решений, считают эксперты. Благодаря алгоритмам и навыкам работы с ними организации способны достигать масштабируемости и передачи знаний на ранее недостижимом уровне. Примерами такого подхода служат Agent Skills от Anthropic, GPT Actions от OpenAI и Copilot Plugin от Microsoft.

Однако это также представляет риск для корпоративной безопасности, так как потенциально приводит к утечке данных клиентов или иной конфиденциальной информации. «Если злоумышленник получит доступ к логике, лежащей в основе навыка, это может предоставить ему значительные возможности для эксплуатации»,— пояснили эксперты.

Имея доступ к оперативным данным и бизнес-логике, злоумышленники нарушают работу госслужб, саботируют производственные процессы, похищают сведения о пациентах и многое другое. Подобные риски особенно остро стоят для центров мониторинга информационной безопасности с поддержкой ИИ. Хакеры способны выявлять и использовать в них «слепые зоны» обнаружения. Инъекционные атаки в этом отношении представляют собой серьёзную проблему, отметили в TrendAI.

При этом многие из инструментов безопасности не могут эффективно анализировать и смягчать угрозы, исходящие от неструктурированных текстовых данных, которыми являются вышеупомянутые ИИ-навыки. Чтобы помочь ИБ-командам, в отчёте была представлена ​​новая восьмиэтапная модель цепочки атак, демонстрирующая новые возможности обнаружения вредоносной активности. Так, рекомендуется проводить мониторинг целостности скиллов, искать манипуляции с логикой SOC и выявлять аномалии в доступе к учётным данным.

В заключение специалисты сделали следующие выводы:

• рассматривайте навыки как конфиденциальную интеллектуальную собственность, оценивая и снижая риски на протяжении всего жизненного цикла, используя надлежащий контроль доступа, версионирование и управление изменениями;
• отделяйте логику навыков от ненадёжных данных, предоставляемых пользователям: последние могут привести к возможностям эксплуатации;
• применяйте принципы минимальных привилегий при проектировании навыков и ограничивайте контекст выполнения минимально необходимыми разрешениями, чтобы предотвратить горизонтальное перемещение;
• проверяйте, как злоумышленники могут использовать операционную логику, до развёртывания;
• постоянно проводите аудит, как и для любого бизнес-процесса. Это особенно важно в средах с поддержкой ИИ, где традиционные границы безопасности размываются.

Усам Оздемиров