Нейросеті все ближче до фрілансерів: ШІ навчився виконувати кожен шостий комерційний проект

Розвиток генеративного штучного інтелекту продовжує змінювати ринок віддаленої роботи. Згідно з новим дослідженням, сучасні ШІ-агенти вже здатні самостійно виконувати частину реальних комерційних проектів на рівні, який влаштовує замовників. Однак до повноцінної заміни професіоналів технологіям ще далеко.

Такого висновку дійшли фахівці Center for AI Safety (CAIS) спільно зі Scale Labs, результати дослідження опублікувало видання The Decoder.

Remote Labor Index (RLI)

Для оцінки можливостей сучасних моделей дослідники використовують Remote Labor Index (RLI) — спеціальний показник, який вимірює, наскільки успішно штучний інтелект справляється зі справжніми комерційними завданнями, які зазвичай виконують фрілансери.

На відміну від звичних тестів, тут оцінюються не абстрактні можливості моделей, а реальні проекти, за виконання яких замовники готові платити гроші.

До дослідження увійшли 240 комерційних замовлень загальною вартістю близько 144 тисячі доларів, наданих 358 перевіреними фрілансерами.

Серед напрямків:

• 3D-моделювання та CAD;
• архітектурне проектування;
• графічний дизайн;
• монтаж відео та створення анімації;
• обробка аудіо;
• аналіз даних;
• веб-розробка.

Кожен проект спочатку виконував професійний спеціаліст, після чого аналогічне завдання отримував ШІ. Потім незалежні експерти порівнювали результати та визначали, чи відповідає робота штучного інтелекту якості, за яку клієнт справді погодився б заплатити.

Головним показником став рівень автоматизації — частка проектів, де результат ШІ виявився порівнянним із роботою людини.

Неймовірні можливості ШІ

Ще на початку роботи над індексом найкращий ШІ міг успішно виконати лише 2,5% комерційних завдань.

Тепер лідером рейтингу стала модель Claude Fable 5, яка досягла 16,1%.

Це означає, що приблизно кожен шостий реальний фріланс-проект модель здатна виконати на рівні, який експерти вважають комерційно прийнятним.

Інші системи значно відстали:

• Claude Opus 4.8 – 8,3%;
• GPT-5.5 – 6,3%.

Для порівняння, попередній лідер дослідження – Claude Opus 4.6 – раніше демонстрував результат лише 4,17%.

Автори зазначають, що лише за вісім місяців максимальний рівень автоматизації збільшився більш ніж у чотири рази.

При цьому дослідження виявилося неповним: через обмеження американської влади розробники не змогли протестувати 22 проекти з використанням Fable 5.

Навіть якщо вважати всі ці завдання провальними, підсумковий показник моделі становив би 14,6%, що все одно залишається найкращим результатом серед усіх протестованих ШІ.

Нова модель — не завжди найкраща

Дослідження показало ще одну несподівану особливість ринку.

Незважаючи на пізніший реліз, Gemini 3 Pro продемонструвала один із найгірших результатів серед усіх учасників тестування.

Її рівень автоматизації становив лише 1,25%, поступившись навіть значно старішим мовним моделям.

За словами дослідників, дата виходу моделі далеко не завжди відображає її здатність вирішувати реальні професійні завдання.

Де штучний інтелект поки серйозно поступається людині

Хоча загальний прогрес виявився вражаючим, дослідження також продемонструвало, що сучасні ШІ, як і раніше, регулярно припускаються помилок у складних професійних проектах.

Наприклад, при розробці дизайну ювелірної прикраси модель Fable 5 помітно перевершила попередні покоління ШІ, проте підсумкова робота все одно не відповідала рівню досвідченого дизайнера.

В іншому випадку GPT-5.5 успішно створила гарний архітектурний рендер будівлі, проте під час перевірки вихідної 3D-моделі з’ясувалося, що сама геометрія об’єкта містить багато серйозних дефектів.

Іншими словами, штучний інтелект навчився створювати переконливу візуальну картинку, але поки що не завжди здатний коректно виконати технічну частину роботи.

Чому ШІ поки що не може об’єктивно оцінювати роботу іншого ШІ

Автори дослідження вирішили перевірити ще одну гіпотезу — чи можна відмовитись від дорогої перевірки людьми та доручити оцінку результатів самим мовним моделям.

Експеримент виявився невдалим.

Практично всі суди ШІ значно завищували якість робіт своїх “колег”.

Наприклад:

• GPT-5.5 отримувала оцінки майже втричі вище, ніж виставляли реальні експерти;
• Opus 4.8 — приблизно в 2,5 рази вище.

Хоча моделі правильно визначали відносний порядок учасників рейтингу, їх абсолютні оцінки виявилися дуже далекі від реальності.

На думку дослідників, причина проста: повноцінна перевірка таких проектів потребує роботи у спеціалізованому програмному забезпеченні.

Недостатньо подивитися на красиву картинку – необхідно відкрити вихідні файли у професійних додатках, перевірити коректність моделей, структуру проекту та якість виконання так само, як це зробив би реальний замовник.

Саме взаємодія зі складним професійним ПЗ сьогодні залишається однією з найслабших сторін сучасних ШІ-агентів.

Для тестів ШІ використовували повноцінне робоче місце розробника

Щоб максимально розкрити можливості моделей, дослідники запускали їх не в браузері, а у повноцінному професійному середовищі.

Кожен агент працював на віртуальній Linux-машині, де було встановлено понад 30 спеціалізованих програм, включаючи:

• Blender;
• GIMP;
• Audacity;
• інші професійні інструменти для створення цифрового контенту.

На виконання одного проекту моделі отримували до 24 години обчислювального часу.

Крім того, застосовувалася система подвійної перевірки: після завершення роботи другий ШІ-агент виступав у ролі вимогливого замовника, знаходив недоліки та передавав зауваження першому агенту для доопрацювання результату.

До повної автоматизації фрілансу ще далеко

Незважаючи на стрімке зростання можливостей, дослідники наголошують, що сучасні моделі поки що не здатні стабільно виконувати більшість професійних проектів без участі людини.

Навіть найкращі результати Claude Fable 5 далеко не завжди відповідають рівню готової комерційної роботи.

Проте динаміка розвитку вражає. Якщо менше року тому штучний інтелект успішно справлявся лише з одиничними завданнями, то тепер уже здатний якісно виконувати приблизно кожен шостий комерційний фріланс-проект. На думку авторів дослідження, таке швидке зростання безпосередньо відображає темпи автоматизації віддаленої роботи та показує, наскільки стрімко ШІ починає займати окремі ніші на ринку цифрових професій.