Splunk: Когда за контроль отвечают все, не отвечает никто

В отчёте Splunk под названием State of Observability, опубликованном Cisco 20 октября, содержится предупреждение: хотя многие организации стремятся использовать потенциальные преимущества нейросетей, зачастую они делают это, не имея стратегии, гарантирующей безопасность.

По мнению экспертов, компании внедряют ИИ-агентов в свои сети гораздо быстрее, чем успевают разработать процедуры мониторинга и меры защиты. И в результате становятся уязвимыми перед «галлюцинациями» и другими распространёнными проблемами, связанными с новой технологией.

В ходе опроса 2050 специалистов в области ИТ-операций (ITOps) и инженерии 38% респондентов заявило, что в их организациях до сих пор чётко не определены зоны ответственности и подотчётности за мониторинг ботов. Такая ситуация во многом возникает из-за вовлечённости в процесс одновременно нескольких направлений ИТ-департамента — от разработки софта и управления инфраструктурой до веб-разработки и ИБ.

«Когда за контроль ИИ-агентов отвечают все, по факту за него не отвечает никто», — отметил Марк Вудс, технический директор по работе с клиентами (Field CTO) и главный технический консультант Splunk в регионе EMEA.

Многие ИТ-команды и безопасники также с трудом справляются с непредвиденными последствиями стремительного внедрения инструментов ИИ. Например, хотя 85% опрошенных считает важным отслеживать «галлюцинации», лишь 58% подтвердило, что их компания способна эффективно выявлять подобные сбои.

Нередко организациям трудно определить момент, когда бот совершает ошибку или действует на её основе; зачастую у них даже нет механизмов, позволяющих предотвратить такие действия. Это может привести к негативным последствиям для бизнеса. К примеру, злоумышленник воспользуется агентом, чтобы обманом заставить его раскрыть конфиденциальную информацию — наличие надлежащих инструментов мониторинга позволило бы предотвратить инцидент.

«Управление нейросетями в больших масштабах требует переосмысления подходов как к безопасности, так и к наблюдаемости (observability). В мире агентного ИИ эти аспекты неразрывно связаны, а события развиваются со скоростью работы машин, — констатировал президент и директор по продуктам (CPO) Cisco Джиту Патель. — Единые платформы данных, позволяющие выявлять проблемы и реагировать на них в режиме реального времени, — это ключ к масштабному внедрению агентов, которым можно доверять».

В отчёте также отмечается, что при правильном развёртывании боты могут существенно помочь ИТ- и ИБ-командам. По мнению 86% респондентов, внедрение алгоритмов ускорило обнаружение проблем или угроз безопасности. Но есть у них и оппоненты, которые видят в ИИ проблему: одной из главных причин недовольства стало дополнительное время, необходимое для перепроверки действий или выводов агента.

Усам Оздемиров