Умный, но податливый: у ИИ проблемы с уверенностью в себе

Большие языковые модели, включая GPT-4o, оказались подвержены влиянию внешних советов — даже если они ошибочны. К такому выводу пришли специалисты из Google DeepMind и Университетского колледжа Лондона. Об этом сообщает сервер препринтов arXiv.

Исследователи провели серию экспериментов, в которых чат-боту предлагался вопрос с двумя вариантами ответа. После этого модель получала совет якобы от другой нейросети — согласие, опровержение или нейтральную реакцию. Важно, что в некоторых случаях первоначальный ответ модели был виден, в других — скрыт.

Результаты оказались неожиданными. Если нейросеть видела свой предыдущий ответ, она с большей вероятностью сохраняла его. Однако если тот был скрыт, модель чаще меняла мнение, особенно под влиянием критического совета. Это происходило даже тогда, когда изначальный ответ был правильным.

Учёные объясняют это тем, что ИИ демонстрирует форму когнитивного искажения: склонность соглашаться с внешним мнением и сомневаться в себе. При этом модели чаще прислушиваются к возражениям, чем к поддержке. Такое поведение может быть критичным при использовании ИИ в медицине, юриспруденции и других сферах, где важна точность и логическая устойчивость.

Авторы подчёркивают, что понимание таких механизмов поможет сделать ИИ более надёжным и предсказуемым в будущем. Особенно это важно на фоне растущей зависимости от нейросетей в принятии решений.