Дослідницька група з Китаю та Сінгапуру нещодавно представила статтю, яка описує концепцію загального комп’ютерного контролю (GCC) для штучного інтелекту. Як частину своїх експериментів вчені навчили ШІ-модель, що працює на базі OpenAI GPT-4V, грати в Red Dead Redemption 2 – комплексну відеогру з багатим та різноманітним віртуальним світом. Цей проект спрямовано вивчення можливостей створення просунутого загального штучного інтелекту (AGI).

Для взаємодії з комп’ютером та інтерпретації візуальних та аудіо сигналів було розроблено спеціальну систему під назвою CRADLE, що включає шість модулів. Гра була обрана в силу її складності та насиченості подіями, що забезпечує багате середовище для навчання. ІІ навчався керувати персонажем за допомогою миші та клавіатури, вивчаючи ігрові механіки з нуля та стикаючись з різними завданнями, такими як навігація по світу та виконання місій.

В ході дослідження ШІ зміг успішно виконати ряд завдань у грі, хоча деякі місії, такі як Protect Dutch з інтенсивними перестрілками та Search House з необхідністю дослідження складного середовища, опинилися поза його межами. Цей проект показує значні перспективи ІІ у навчанні та адаптації до складних завдань у динамічних та непередбачуваних умовах.

За підсумками дослідження виявлено слабке місце усієї системи – це система машинного зору GPT-4V. Виявилося, що дана модель ІІ не справляється з обробкою всієї візуальної інформації. Зокрема, є проблема з розумінням міні-карти, зі сприйняттям перешкод в ігровому середовищі та іншими елементами. Поки що можливості GPT-4V недостатні для точного просторово-візуального розпізнавання.