Nvidia представила «ошейник» для ИИ

Nvidia анонсировала собственную платформу для контроля ИИ-агентов — Open Agent Safety. Это набор инструментов, с помощью которого разработчики могут настраивать защитные механизмы, удерживающие ботов в изолированной среде.

Один из компонентов платформы — OpenShell — работает на центральных процессорах и «ограничивает возможности» нейросетей, другой — Sentry — отслеживает поведение агентов и эксплуатирует сетевые чипы, а не на CPU или GPU.

Частично новая платформа — open-source-проект: Nvidia предлагает сторонним компаниям создавать свои решения на основе её технологий. В числе таковых уже фигурируют Cisco, Microsoft, Oracle, CoreWeave, Dell, HPE, Lenovo, ARM и Intel. Также ИТ-гигант рассказал о коллаборации с Anthropic, базирующейся на интеграции OpenShell.

По заявлению представителей Nvidia, использование инструментов Open Agent Safety позволит предотвращать ИБ-инциденты вроде недавнего взлома систем Hugging Face агентами OpenAI.