Выяснилось почему ChatGPT и другие языковые модели ИИ плохо имитируют людей

Команда исследователей из Базельского и Невшательского университетов в Швейцарии пришла к выводу, что большие языковые модели (LLM), несмотря на свое стремительное развитие, еще плохо имитируют человеческую манеру общения.

Как отметил соавтор исследования Лукас Биетти, даже самые современные модели типа ChatGPT-4, Claude Sonnet 3.5, Vicuna и Wayfarer общаются «не как люди».

Как проводили эксперимент

Ученые сначала сравнили реальные телефонные разговоры между людьми с имитацией таких разговоров между языковыми моделями. Затем группу участников попросили определить, какие диалоги созданы ИИ.

Результат оказался однозначным: большинство участников без труда отличали человеческие диалоги от искусственных.

В чем разница

Человеческое общение имеет естественную динамику подражания — собеседники подстраивают свой язык, интонацию и ритм друг другу. Это происходит мягко и почти незаметно.

LLM же, напротив, чрезмерно выравнивают стиль, копируя слова или структуру собеседника слишком точно. Этот феномен исследователи назвали over-alignment — чрезмерное выравнивание.

Почему разговоры ИИ звучат неестественно

В повседневном общении люди часто используют «дискурсивные маркеры» — короткие слова вроде «да», «ну», «якобы», «угу», «ладно». Они выполняют социальную функцию — сигнализируют о заинтересованности, поддержке или изменении темы. ШИ-модели не умеют правильно использовать такие слова, часто применяя их в неподходящем контексте. Именно это и выдает искусственность в диалогах.

Проблема начала и завершения разговора

Исследование также показало, что LLM не владеют естественными переходами между темами. Люди обычно начинают с фраз типа «Привет, как дела?» или «Рад тебя слышать», прежде чем перейти к существу. ИИ сразу переходит к главному вопросу.

Так же и в завершении — языковые модели резко обрывают диалог, не добавляя вежливых фраз типа “Хорошо, тогда на связи” или “Спасибо”

Ученые подытожили, что даже самые передовые системы пока имитируют только содержание, но не социальную динамику человеческого общения, которая остается одной из самых сложных для моделирования.