Anthropic: Способ взаимодействия с ИИ важнее самого факта его использования

Рандомизированное контролируемое испытание Anthropic, в котором поучаствовало 52 разработчика, показало, как ИИ-ассистенты влияют на освоение новых ИТ-навыков. Группа с доступом к нейросетям набрала на тесте 50%; те же, кто писал код вручную – 67%.

Участниками эксперимента стали в основном junior-разработчики с опытом работы на Python. Они изучали библиотеку Trio для асинхронного программирования, и часть имела возможность попросить помощи у чат-бота, а другая справлялась своими силами. По завершении обе команды проходили тест на понимание материала. Скорость выполнения у «ИИ-группы» была выше, но статистически незначимо.

Самый большой разрыв проявился в вопросах на отладку, и здесь эксперты Anthropic заметили тревожный момент: именно навык находить ошибки критически важен для проверки ИИ-кода, но чтобы проверять такой код, нужны навыки, которые при работе с нейросетями развиваются хуже.

При этом те специалисты, кто в рамках испытания полностью делегировал написание кода чат-боту, показали худшие результаты, а задававшие ему концептуальные вопросы учились почти так же хорошо, как контрольная группа. То есть способ взаимодействия с ИИ оказался важнее самого факта его использования.