История ИИ-модели Astra вызвала дискуссию о саморегулировании

OpenAI заявила о временной приостановке внутреннего теста своей будущей модели после того, как возможности нейросети в киберсфере были оценены как «критические». Сообщается, что тестирование Astra выявило «значительные улучшения в программировании агентов».

«Модель достигает критического порога кибербезопасности, если она может выявлять и разрабатывать функциональные уязвимости нулевого дня всех уровней серьёзности без вмешательства человека, или может разрабатывать и реализовывать комплексные стратегии кибератак против защищённых целей», — пояснили в компании.

По словам разработчиков, они «усилили тестирование на надёжность» своих средств защиты и контроля безопасности, чтобы снизить любые потенциальные риски, связанные с ИИ. Это включает в себя изолированные тестовые среды, ограниченный доступ к сети и инструментам, повышенную защиту весов модели и шифрование, дополнительные возможности мониторинга и обнаружения, а также изолированное выполнение. Активность, которая ещё не соответствует новым требованиям, поставлена на паузу.

Лаборатория ИИ также сообщила о том, что внедрила систему по отслеживанию рискованных действий и несоответствий в агентных приложениях Astra: «Мониторы оценивают цепочку рассуждений нейросети и запускают ответные действия безопасности для проверки и прерывания деятельности с высоким риском».

Большинство экспертов приветствовало решение OpenAI. «Замедление выпуска новых моделей — один из способов смягчить последствия катастрофы, но организациям необходимо продолжать обновлять критически важные системы и создавать программы управления уязвимостями, которые могут соответствовать скорости работы машины», — отметил директор по ИИ компании Armor Code Мэтт Саяр.

Ряд экспертов полагает, что модели с открытым исходным кодом и широкими возможностями уже сегодня обладают аналогичными возможностями. Атакующие используют их в злонамеренных целях, а саморегулирование и ограничение доступа для легитимных клиентов только усложняют ситуацию в сфере кибербезопасности.

«Необходим какой-то значимый контроль и подотчётность. Как бы эти компании ни ненавидели данную идею, они снова и снова демонстрируют, что мы не можем просто предполагать, что они сами по себе поступят правильно», — заявил Джон Стрэнд, владелец Black Hills Information Security.

Усам Оздемиров