Пять главных ИИ-рисков по версии Anthropic

Основатель Anthropic Дарио Амодей опубликовал материал под названием «Подростковый период технологий». В нём говорится, что «мощный искусственный интеллект», который «умнее любого нобелевского лауреата», может появиться уже через год-два.

Также автор упоминает «страну гениев в дата-центре» — миллионы копий ИИ, работающих автономно и в 10-100 раз быстрее человека — и выделяет пять основных рисков применения нейросетей:

• Автономия. ИИ может выйти из-под контроля в процессе обучения — в экспериментах чат-боты уже демонстрируют обман, шантаж и саботаж.
• Биотерроризм. Модели уже совсем скоро потенциально смогут привести неспециалиста к созданию биооружия.
• Пособничество автократам. В этом прогнозе — тотальная слежка, пропаганда и автономные дроны.
• Потрясения на рынке труда. Развитие ИИ-инструментов способно повлечь исчезновение половины позиций начального уровня на горизонте от года до пяти лет.
• Эффекты «ИИ-психозов» и потеря смысла жизни в мире, где машины умнее людей.

Биологические угрозы Амодей считает самыми серьёзными, и поэтому, по словам эксперта, Anthropic выпустила свою модель Claude Opus 4 и последующие её версии с защитой уровня ASL-3 и внедрила специальные классификаторы.

Для нивелирования упомянутых рисков глава компании предлагает перейти к концепции Constitutional AI (обучение моделей на основе документа с принципами и ценностями), публиковать отчёты на уровне вендоров, разработать профильные законы о прозрачности вроде калифорнийского SB 53 и нью-йоркского RAISE Act на уровне государств, а также ввести жёсткий экспортный контроль чипов.