NVIDIA запускает Cosmos 3 для робототехники и автономных систем

На технологической конференции GTC Taipei компания NVIDIA официально объявила о масштабном запуске своей инновационной модели искусственного интеллекта Cosmos 3. Разработчики называют новинку первой в мире полностью открытой омнимоделью, способной к глубокому визуально-ориентированному анализу окружающего мира. Архитектурные особенности системы позволяют  обрабатывать входящие данные и выдавать высокоточные результаты в виде целого ряда различных модальностей, таких как стандартный текстовый вывод, сгенерированные реалистичные изображения, симуляционные видеоролики и синхронизированный фоновый звук реальной среды.

Современные беспилотники и роботизированные устройства регулярно сталкиваются с проблемой фрагментарного понимания окружающих объектов из-за недостаточных баз данных или недоработанного виртуального моделирования в привычных симуляторах. Интеллектуальная омнимодель NVIDIA Cosmos 3 разработана специально как эффективный мозг для комплексного физического искусственного интеллекта (Physical AI). Новая архитектура умеет «нативно» воспринимать входящее физическое пространство и генерировать команды движения на основе прогнозируемой симуляции динамического отклика окружающих вещей.

Технические характеристики

В основу ИИ Cosmos 3 заложено уникальное гибридное инженерное решение: система органично сочетает трансформер для выполнения когнитивных рассуждений и экспертный трансформер для прямой визуально-звуковой генерации. Внутренняя структура Cosmos 3 работает по следующему двухфазному сценарию:

• Оценка пространственно-временных связей: Сначала омнимодель дефрагментирует сложные физические законы взаимодействия, просчитывает массу, кинематику движения и вектор сил;
• Экспертный рендеринг: Получив точный симуляционный план, второй трансформер переходит непосредственно к проработке детализированной видеотраектории поведения и наборов управляющих инструкций.

Интеграция подобных модулей позволяет ускорить проведение логических выводов в несколько раз за счет использования систем параллельного вычисления без риска утратить естественную точность взаимодействия.

Для чего и в каких отраслях будет полезна новая нейросеть

Технические инженеры NVIDIA выделяют три ключевых концептуальных сценария практического внедрения:

• Визуально-языковая модель (VLM): Универсальная когнитивная система, рассуждающая во всех классических человеческих модальностях;
• Симуляционная мировая модель (World Model): Виртуальная физическая среда-полигон, моделирующая реальность для обкатки автономных устройств в безопасных границах виртуального сервера;
• Среда тонкой предобучающей разметки: Масштабное опорное решение для тренировок более точечных или коммерческих интеллектуальных моделей.

Разновидности омнимодели

Для создания вариативной рабочей инфраструктуры компания представила систему Cosmos 3 сразу в нескольких отдельных технических изданиях:

• Cosmos 3 Super: Ультра-издание, ориентированное на сложный этап финального пост-обучения коммерческих автопилотов и беспилотной спецтехники промышленного масштаба. Гарантирует абсолютную достоверность каждого генерируемого движения на физическом уровне;
• Cosmos 3 Nano: Эффективная микросхема обработки в режиме реального времени. Реализует сверхбыстрый отклик по принципу действия робота за малые микродоли секунды с минимумом энергозатрат;
• Cosmos 3 Edge: Перспективная версия нейросети, находящаяся на стадии предрелизной готовности. Спроектирована для развёртывания прямо в локальных блоках периферийных чипов без потребности задействовать внешние облачные платформы.