NVIDIA розказала про технологію Avatar Cloud Engine для генерації діалогів з NPC

NVIDIA анонсувала сервіс ACE (Avatar Cloud Engine) для пожвавлення неігрових персонажів (NPC) за допомогою генеративних мовних моделей ШІ. Інструменти ACE дозволяють додати можливості спілкування з персонажами, не вимагаючи заздалегідь прописаного діалогу.

Технологія розроблена разом зі стартапом Convai. Очевидно, що NVIDIA ACE має великі перспективи в іграх з великими світами та великою кількістю енпісюнів.

NVIDIA ACE використовує платформу NVIDIA Omniverse із застосуванням додаткових модулів. NVIDIA NeMo використовується для створення, налаштування та розгортання мовних моделей. Великі мовні моделі можна налаштувати за допомогою бази знань та передісторій персонажів, а також захистити від небезпечних розмов за допомогою NeMo Guardrails. Для автоматичного розпізнавання мови та перетворення тексту на мову використовується NVIDIA Riva.

Технологія NVIDIA Omniverse Audio2Face використовується для миттєвого створення виразної анімації обличчя ігрового персонажа, що відповідає мовній доріжці. Audio2Face можна інтегрувати безпосередньо в MetaHuman (Unreal Engine 5) для створення лицьової анімації.

Технологія Audio2Face вже використовується ігровими розробниками. Заявлено, що GSC Game World бере технологію на озброєння для розробки S.T.A.L.K.E.R. 2: Heart of Chernobyl. Студія Fallen Leaf використовує Audio2Face для анімації осіб персонажів у Fort Solis, науково-фантастичному трилері від третьої особи.

У представленому демо Kairos показано спілкування з персонажем, який відповідає питанням, спираючись на прописану передісторію. Усі його відповіді згенеровані ШІ.