Специалисты из университетов Франции и Италии выяснили, что свободный доступ к чат-боту заставляет пользователей реже сомневаться в собственных суждениях, даже если ИИ предлагал ошибочную информацию.
Участники проведённого учёными исследования отвечали на вопросы о малозаметных деталях из фильмов, которые редко встречаются в обучающих данных для LLM. Одной группе пришлось справляться самостоятельно, а другая могла обратиться к модели Step 3.5 Flash, известной высокой долей выдаваемых неверных «фактов» на такие темы.
Без помощи нейросети 44% человек признавало, что не знает ответа, но после появления подсказок данный показатель упал до 3%. Одновременно снизилась и корректность: в первой группе правильно ответило 27%, а во второй — только 9%. Более того, некоторые из тех, кто сначала выбрал верный вариант, изменил решение после ошибочного совета бота.
При этом без использования ИИ правильность своего мнения высоко оценивало 30% участников, а с подсказками уже 76%. Таким образом, доступ к технологии не только ухудшал результат, но и создавал у людей ложное ощущение надёжности ответа. Интересно, что этот эффект немного притупился с появлением денежной переменной: после введения вознаграждения доля ответов «не знаю» выросла с 3% до 8%, а верных — с 9% до 16%.
По мнению учёных, ситуации должно помочь общее признание неопределённости нормальной частью рассуждения моделей.
.jpg){kind=icon}
.jpg)
