Экономисты НИУ ВШЭ обнаружили, что современные ИИ-модели, включая ChatGPT-4o и Claude-Sonnet, склонны переоценивать уровень рациональности людей в стратегических играх. Из-за этого они играют «слишком умно» и часто проигрывают, сообщили учёные в исследовании для Journal of Economic Behavior & Organization.
Учёные проверили модели в игре «угадай число» — вариации «конкурса красоты» экономиста Джона Кейнса. ИИ должен был назвать число, близкое к половине среднего от всех ответов, предварительно изучив профиль оппонентов: студентов, учёных или людей в разном эмоциональном состоянии.
«Мы сейчас находимся в точке, когда во многих операциях ИИ-модели начинают заменять людей, и это позволяет повышать экономическую эффективность бизнес-процессов. Однако в задачах, которые связаны с принятием решений, часто необходимо быть уверенными в том, что модель искусственного интеллекта ведёт себя похожим на человека образом. Поэтому появляется всё больше контекстов, в которых поведение моделей сравнивается с человеческим поведением. Эта область исследований в ближайшее время будет активно развиваться», — подчеркнул Дмитрий Дагаев.
Исследование показало, что ИИ эффективно адаптирует ответы под разных противников. Против опытных игроков модели выбирали числа, близкие к нулю, а против первокурсников — заметно больше. Несмотря на адаптивность и элементы стратегического мышления, модели оказались неспособны выбрать доминирующую стратегию в игре с двумя участниками.
«Конкурс красоты» Кейнса, разработанный в 1930-х годах, долгое время использовался для объяснения колебаний цен на финансовых рынках, где успех зависит от умения предсказать чужие предпочтения. «Жуковский.Life» сообщал, что учёные также нашли главное слабое место ИИ в решении сложных задач — модели не способны гибко мыслить, как человек, в неоднозначных ситуациях.