Нейросети все ближе к фрилансерам: ИИ научился выполнять каждый шестой коммерческий проект

Развитие генеративного искусственного интеллекта продолжает менять рынок удаленной работы. Согласно новому исследованию, современные ИИ-агенты уже способны самостоятельно выполнять часть реальных коммерческих проектов на уровне, который устраивает заказчиков. Однако до полноценной замены профессионалов технологиям еще далеко.

К такому выводу пришли специалисты Center for AI Safety (CAIS) совместно с Scale Labs, результаты исследования опубликовало издание The Decoder.

Remote Labor Index (RLI)

Для оценки возможностей современных моделей исследователи используют Remote Labor Index (RLI) — специальный показатель, измеряющий, насколько успешно искусственный интеллект справляется с настоящими коммерческими задачами, которые обычно выполняют фрилансеры.

В отличие от привычных тестов, здесь оцениваются не абстрактные способности моделей, а реальные проекты, за выполнение которых заказчики готовы платить деньги.

В исследование вошли 240 коммерческих заказов общей стоимостью около 144 тысяч долларов, предоставленных 358 проверенными фрилансерами.

Среди направлений:

• 3D-моделирование и CAD;
• архитектурное проектирование;
• графический дизайн;
• монтаж видео и создание анимации;
• обработка аудио;
• анализ данных;
• веб-разработка.

Каждый проект сначала выполнял профессиональный специалист, после чего аналогичную задачу получал ИИ. Затем независимые эксперты сравнивали результаты и определяли, соответствует ли работа искусственного интеллекта качеству, за которое клиент действительно согласился бы заплатить.

Главным показателем стал уровень автоматизации — доля проектов, где результат ИИ оказался сопоставим с работой человека.

Невероятные возможности ИИ

Еще в начале работы над индексом лучший ИИ мог успешно выполнить лишь 2,5% коммерческих заданий.

Теперь лидером рейтинга стала модель Claude Fable 5, которая достигла показателя 16,1%.

Это означает, что примерно каждый шестой реальный фриланс-проект модель способна выполнить на уровне, который эксперты сочли коммерчески приемлемым.

Другие системы значительно отстали:

• Claude Opus 4.8 — 8,3%;
• GPT-5.5 — 6,3%.

Для сравнения, предыдущий лидер исследования — Claude Opus 4.6 — ранее демонстрировал результат всего 4,17%.

Авторы отмечают, что всего за восемь месяцев максимальный уровень автоматизации увеличился более чем в четыре раза.

При этом исследование оказалось неполным: из-за ограничений американских властей разработчики не смогли протестировать 22 проекта с использованием Fable 5.

Даже если считать все эти задания провальными, итоговый показатель модели составил бы 14,6%, что все равно остается лучшим результатом среди всех протестированных ИИ.

Новая модель — не всегда лучшая

Исследование показало еще одну неожиданную особенность рынка.

Несмотря на более поздний релиз, Gemini 3 Pro продемонстрировала один из худших результатов среди всех участников тестирования.

Ее уровень автоматизации составил всего 1,25%, уступив даже значительно более старым языковым моделям.

По словам исследователей, дата выхода модели далеко не всегда отражает ее способность решать реальные профессиональные задачи.

Где искусственный интеллект пока серьезно уступает человеку

Хотя общий прогресс оказался впечатляющим, исследование также продемонстрировало, что современные ИИ по-прежнему регулярно допускают ошибки в сложных профессиональных проектах.

Например, при разработке дизайна ювелирного украшения модель Fable 5 заметно превзошла предыдущие поколения ИИ, однако итоговая работа все равно не соответствовала уровню опытного дизайнера.

В другом случае GPT-5.5 успешно создала красивый архитектурный рендер здания, однако при проверке исходной 3D-модели выяснилось, что сама геометрия объекта содержит множество серьезных дефектов.

Другими словами, искусственный интеллект научился создавать убедительную визуальную картинку, но пока не всегда способен корректно выполнить техническую часть работы.

Почему ИИ пока не может объективно оценивать работу другого ИИ

Авторы исследования решили проверить еще одну гипотезу — можно ли отказаться от дорогостоящей проверки людьми и поручить оценку результатов самим языковым моделям.

Эксперимент оказался неудачным.

Практически все ИИ-судьи значительно завышали качество работ своих «коллег».

Например:

• GPT-5.5 получала оценки почти в три раза выше, чем выставляли реальные эксперты;
• Opus 4.8 — примерно в 2,5 раза выше.

Хотя модели правильно определяли относительный порядок участников рейтинга, их абсолютные оценки оказались сильно далеки от реальности.

По мнению исследователей, причина проста: полноценная проверка подобных проектов требует работы в специализированном программном обеспечении.

Недостаточно посмотреть на красивую картинку — необходимо открыть исходные файлы в профессиональных приложениях, проверить корректность моделей, структуру проекта и качество исполнения так же, как это сделал бы реальный заказчик.

Именно взаимодействие со сложным профессиональным ПО сегодня остается одной из самых слабых сторон современных ИИ-агентов.

Для тестов ИИ использовали полноценное рабочее место разработчика

Чтобы максимально раскрыть возможности моделей, исследователи запускали их не в браузере, а в полноценной профессиональной среде.

Каждый агент работал на виртуальной Linux-машине, где было установлено более 30 специализированных программ, включая:

• Blender;
• GIMP;
• Audacity;
• другие профессиональные инструменты для создания цифрового контента.

На выполнение одного проекта модели получали до 24 часов вычислительного времени.

Кроме того, применялась система двойной проверки: после завершения работы второй ИИ-агент выступал в роли требовательного заказчика, находил недостатки и передавал замечания первому агенту для доработки результата.

До полной автоматизации фриланса еще далеко

Несмотря на стремительный рост возможностей, исследователи подчеркивают, что современные модели пока не способны стабильно выполнять большинство профессиональных проектов без участия человека.

Даже лучшие результаты Claude Fable 5 далеко не всегда соответствуют уровню готовой коммерческой работы.

Тем не менее динамика развития впечатляет. Если менее года назад искусственный интеллект успешно справлялся лишь с единичными задачами, то теперь уже способен качественно выполнять примерно каждый шестой коммерческий фриланс-проект. По мнению авторов исследования, столь быстрый рост напрямую отражает темпы автоматизации удаленной работы и показывает, насколько стремительно ИИ начинает занимать отдельные ниши на рынке цифровых профессий.