Кожна десята відповідь — помилка: дослідження ставить під сумнів точність ШІ-відповідей Google

Функція автоматичних відповідей у пошуку Google, заснована на штучному інтелекті, демонструє високий рівень точності, однак зберігається помітна частка помилок. За результатами дослідження, близько 10% відповідей є недостовірними — що в масштабах пошукової системи означає величезний обсяг оманливої інформації.

Як працюють AI Overviews

AI Overviews — це функція Google, яка формує стислі відповіді на запити користувачів за допомогою моделей штучного інтелекту Gemini. Технологію вперше представили у 2024 році, а згодом вона отримала широке поширення в різних регіонах, зокрема й в Україні.

Система аналізує інформацію з різних джерел і формує коротке резюме, дозволяючи користувачам швидко отримувати відповіді без переходу за посиланнями.

Результати дослідження

Спільне дослідження The New York Times і стартапу Oumi показало, що приблизно 90% відповідей AI Overviews є коректними. Водночас близько однієї з десяти відповідей містить помилки або вводить в оману.

Перевірка проводилася за допомогою тесту SimpleQA — набору з 4 тисяч запитань, створеного OpenAI. Результати показали зростання точності після оновлення моделей: раніше вона становила близько 85%, а згодом перевищила 90%.

Втім навіть такий рівень точності викликає занепокоєння з огляду на масштаби використання Google. У перерахунку це можуть бути мільйони некоректних відповідей щогодини.

Приклади помилок

У звіті наведено конкретні приклади неточностей. Зокрема, на запит про дату, коли будинок Боба Марлі став музеєм, система посилалася на джерела без точних даних або з помилками.

В іншому випадку ШІ стверджував, що певної музичної установи не існує, хоча сам же посилався на її офіційний сайт. Такі суперечності свідчать про проблеми з надійністю відповідей.

Позиція Google

У Google розкритикували методологію дослідження, зазначивши, що використаний тест може містити неточності та не відображає реальні запити користувачів.

За словами компанії, для внутрішньої оцінки застосовується власний підхід із ретельно перевіреними даними, що дозволяє точніше оцінювати якість системи.

Чому оцінювати ШІ складно

Оцінювання генеративних моделей залишається складним завданням. Різні методики можуть давати різні результати, а самі моделі іноді генерують різні відповіді на однакові запитання.

Крім того, AI Overviews не базується на одній моделі — система обирає найбільш доречну для кожного запиту. Потужніші моделі є повільнішими та дорожчими, тому використовуються не завжди.

Головний ризик — довіра користувачів

Попри помітний прогрес, ключова проблема полягає у сприйнятті відповідей користувачами. Багато хто довіряє ШІ без додаткової перевірки, навіть якщо відповіді можуть бути неточними.

Використання інтернет-джерел підвищує точність, але водночас створює ризик поширення недостовірної інформації.

Хоча Google попереджає про можливі помилки у відповідях, на практиці далеко не всі користувачі перевіряють отриману інформацію.