З’ясувалося чому ChatGPT та інші мовні моделі ШІ погано імітують людей

Команда дослідників із Базельського та Невшательського університетів у Швейцарії дійшла висновку, що великі мовні моделі (LLM), незважаючи на свій стрімкий розвиток, ще погано імітують людську манеру спілкування.

Як зазначив співавтор дослідження Лукас Бієтті, навіть найсучасніші моделі типу ChatGPT-4, Claude Sonnet 3.5, Vicuna та Wayfarer спілкуються “не як люди”.

Як проводили експеримент

Науковці спочатку порівняли реальні телефонні розмови між людьми з імітацією таких розмов між мовними моделями. Потім групу учасників попросили визначити, які діалоги створено ШІ.

Результат виявився однозначним: більшість учасників легко відрізняли людські діалоги від штучних.

У чому різниця

Людське спілкування має природну динаміку наслідування – співрозмовники підлаштовують свою мову, інтонацію та ритм один одному. Це відбувається м’яко та майже непомітно.

LLM ж, навпаки, надмірно вирівнюють стиль, копіюючи слова чи структуру співрозмовника дуже точно. Цей феномен дослідники назвали over-alignment – ​​надмірне вирівнювання.

Чому розмови ШІ звучать неприродно

У повсякденному спілкуванні люди часто використовують “дискурсивні маркери” – короткі слова на кшталт “так”, “ну”, “нібито”, “угу”, “гаразд”. Вони виконують соціальну функцію — сигналізують про зацікавленість, підтримку чи зміну теми. ШИ-моделі не вміють правильно використовувати такі слова, часто застосовуючи їх у невідповідному контексті. Саме це і видає штучність у діалогах.

Проблема початку та завершення розмови

Дослідження також показало, що LLM не мають природних переходів між темами. Люди зазвичай починають із фраз типу “Привіт, як справи?” або “Радий тебе чути”, перш ніж перейти до суті. ШІ одразу переходить до головного питання.

Так само і на завершення – мовні моделі різко обривають діалог, не додаючи ввічливих фраз типу “Добре, тоді на зв’язку” або “Дякую”

Вчені підсумували, що навіть найпередовіші системи поки що імітують лише зміст, але не соціальну динаміку людського спілкування, яка залишається однією з найскладніших для моделювання.