Исследовательская группа из Китая и Сингапура недавно представила статью, описывающую концепцию общего компьютерного контроля (GCC) для искусственного интеллекта. В качестве части своих экспериментов учёные обучили ИИ-модель, работающую на базе OpenAI GPT-4V, играть в Red Dead Redemption 2 — комплексную видеоигру с богатым и разнообразным виртуальным миром. Этот проект направлен на изучение возможностей создания продвинутого общего искусственного интеллекта (AGI).

Для взаимодействия с компьютером и интерпретации визуальных и аудио сигналов была разработана специальная система под названием CRADLE, включающая шесть модулей. Игра была выбрана в силу её сложности и насыщенности событиями, что обеспечивает богатую среду для обучения. ИИ обучался управлять персонажем с помощью мыши и клавиатуры, изучая игровые механики с нуля и сталкиваясь с различными задачами, такими как навигация по миру и выполнение миссий.

В ходе исследования ИИ смог успешно выполнить ряд задач в игре, хотя некоторые миссии, такие как Protect Dutch с интенсивными перестрелками и Search House с необходимостью исследования сложной среды, оказались за его пределами. Этот проект показывает значительные перспективы ИИ в обучении и адаптации к сложным задачам в динамичных и непредсказуемых условиях.

По итогам исследования выявлено слабое место всей системы — это система машинного зрения GPT-4V. Оказалось, что данная модель ИИ не справляется с обработкой всей визуальной информации. В частности, есть проблема с понимаем мини-карты, с восприятием препятствий в игровой среде и другими элементами. Пока возможности GPT-4V недостаточны для точного пространственно-визуального распознавания.