Anthropic: Глубина ответа чат-бота напрямую зависит от точности формулировки промта

Компания Anthropic проанализировала 2 млн сессий своего ИИ-ассистента Claude и ввела пять новых метрик для оценки экономического влияния технологии. Среди прочего выяснилось, что модель преимущественно берёт на себя высококвалифицированные задачи, а живым специалистам — парадоксально — оставляет рутину.

Это продиктовано связью между сложностью запроса и качеством ответа. Исследователи оценивали каждый диалог по двум параметрам: сколько лет формального образования требуется, чтобы понять запрос пользователя, и сколько — чтобы понять ответ чат-бота. Они коррелируют почти идеально: если человек формулирует запрос на уровне выпускника университета, модель отвечает на том же уровне. Следовательно, Claude ускоряет сложные задачи сильнее простых. Так, было установлено, что работа, требующая наличия у исполнителя высшего образования, выполняется в 12 раз быстрее с помощью ИИ, тогда как задачи школьного уровня — только в 9 раз.

Выводы авторов отчёта таковы: турагенты лишаются обязанности планировать сложные маршруты, а, например, технические писатели — анализировать изменения в профильной отрасли, при этом обратные примеры тоже есть — в сфере управления недвижимостью нейросети сверяются с рынком и ведут учёт, в то время как люди остаются главными в переговорах с архитектурными фирмами.

Несмотря на красноречивость тренда, в Anthropic отметили, что пока при выполнении сложных задач Claude ошибается немного чаще, а значит, экспертиза человека для проверки результатов по-прежнему необходима.