Ватикан вступив у суперечку з ШІ-детекторами через першу енцикліку Лева XIV

Після публікації своєї першої енцикліки Magnifica Humanitas Папа Римський Лев XIV несподівано опинився у центрі дискусії щодо застосування штучного інтелекту. Приводом стали припущення, що документ, присвячений людській гідності в епоху розвитку ШІ, міг бути повністю або частково створений за допомогою нейромереж.

Щоб зняти питання, Ватикан ініціював незалежну перевірку походження тексту, звернувшись до компанії, яка займається підтвердженням авторства матеріалів та їх походження без використання генеративного ШІ.

Перші перевірки дали неоднозначний результат

Обговорення почалося після аналізу тексту одним із найвідоміших сервісів виявлення ШІ-контенту — Pangram Labs. Спочатку система відзначила кілька публікацій з офіційного облікового запису Папи як матеріали з ймовірними ознаками машинної генерації. Пізніше аналогічну перевірку пройшла й сама енцикліка.

За підсумками аналізу сервіс дійшов висновку, що більшість документа, найімовірніше, написана людиною, проте деякі окремі фрагменти отримали високу ймовірність того, що при їх створенні міг використовуватися штучний інтелект.

Подібну оцінку висловив дослідник Лінч Чжан. При цьому він припустив, що якщо нейромережі й застосовувалися, то йшлося не про роботу самого понтифіка, а про допоміжну підготовку матеріалів співробітниками Ватикану.

Ватикан звернувся до незалежної сертифікації

Кілька місяців Святий Престол ніяк не реагував на звинувачення. Пізніше було ухвалено рішення провести додаткову перевірку через компанію Proudly Human, яка спеціалізується на підтвердженні того, що тексти були підготовлені без генеративних моделей.

Для проведення аналізу експерти отримали добірку колишніх виступів, звернень та документів Лева XIV. Ці матеріали використовувалися як еталон авторського стилю, з яким порівнювалася енцикліка Magnifica Humanitas.

Крім стилометричного аналізу, процедура передбачала підтвердження особистості автора та офіційну декларацію, згідно з якою штучний інтелект не використовувався при створенні першого варіанту документа і не писав окремі пропозиції або абзаци підсумкової версії.

Після завершення перевірки Proudly Human видала висновок, згідно з яким енцикліка, а також тексти зі збірки Maps of Hope повністю створені людиною.

Перевірка теж не обходиться без штучного інтелекту

Примітно, що сама процедура верифікації також ґрунтується на використанні технологій ШІ. У Proudly Human пояснюють, що застосовують кілька спеціалізованих моделей для аналізу стилістики, граматики та мовних особливостей документів. Потім результати поєднуються власним алгоритмом компанії, який оцінює ймовірність людського авторства.

Отже, штучний інтелект у разі використовується задля створення тексту, бо як інструмент експертної перевірки.

Помилки ШІ-детекторів залишаються серйозною проблемою

Історія довкола енцикліки знову привернула увагу до питання надійності сучасних систем розпізнавання ШІ-контенту. Незважаючи на широке поширення подібних сервісів, вони продовжують допускати неправдиві спрацьовування.

Розробники стверджують, що зараз ймовірність такого збою становить приблизно один випадок на десять тисяч перевірок. Проте історія з енциклікою Лева XIV показує, що навіть найвідоміші ШІ-детектори поки що не здатні гарантувати безпомилковий результат, а остаточний висновок часто залежить не лише від алгоритмів, а й від обраної методики перевірки.