OpenAI сбавила обороты по соображениям ИБ

OpenAI временно замедлила темпы создания новых ИИ-моделей и усилила требования к их безопасности — из-за недавнего кейса Hugging Face и опасений того, что будущая LLM вендора Astra может достичь «критического порога возможностей» в ИБ-сфере.

Компания заявила о внедрении «более эффективных систем мониторинга» на всех этапах разработки нейросетей, а также намерении наблюдать за «подозрительным» поведением моделей и ограничить им доступ к «некоторым данным» (а иногда и к интернету в целом).

Ещё одна мера — более тщательное отслеживание рассуждений ИИ-решений. Специальная система будет анализировать мысли и действия нейросетей, чтобы «в течение 30 минут» обнаруживать попытки несанкционированного доступа к чувствительной информации и обхода ограничений.

Плюс, OpenAI на две недели приостановила процесс обучения с подкреплением (RL) для новейших разработок и отложила публичный запуск новых RL-моделей до завершения оценки описанных мер безопаности.