NVIDIA рассказала о технологии Avatar Cloud Engine для генерации диалогов с NPC

NVIDIA анонсировала сервис ACE (Avatar Cloud Engine) для оживления неигровых персонажей (NPC) с помощью генеративных речевых моделей ИИ. Инструменты ACE позволяют добавить возможности общения с персонажами, не требуя заранее прописанного диалога.

Технология разработана вместе со стартапом Convai. Очевидно, что NVIDIA ACE имеет большие перспективы в играх с большими мирами и множеством энписюнов.

NVIDIA ACE использует платформу NVIDIA Omniverse с использованием дополнительных модулей. NVIDIA NeMo используется для создания, настройки и развертывания языковых моделей. Большие языковые модели можно настроить с помощью базы знаний и предысторий персонажей, а также оградить от опасных разговоров с помощью NeMo Guardrails. Для автоматического распознавания языка и преобразования текста в язык используется NVIDIA Riva.

Технология NVIDIA Omniverse Audio2Face используется для мгновенного создания выразительной анимации лица игрового персонажа, соответствующего языковой дорожке. Audio2Face можно интегрировать непосредственно в MetaHuman (Unreal Engine 5) для создания лицевой анимации.

Технология Audio2Face уже используется игровыми разработчиками. Заявлено, что GSC Game World берет технологию на вооружение для разработки S.T.A.L.K.E.R. 2: Heart of Chernobyl. Студия Fallen Leaf использует Audio2Face для анимации личностей персонажей в Fort Solis, научно-фантастическом триллере от третьего лица.

В представленном демо Kairos показано общение с персонажем, отвечающим вопросом, опираясь на прописанную предысторию. Все его ответы сгенерированы ИИ.