NVIDIA разработала модель ИИ способную менять ракурс просмотра видео в режиме реального времени

Компания NVIDIA совместно с Университетом Мэриленда представила новую модель искусственного интеллекта QUEEN (QUantized Efficient ENcoding), которая позволяет быстро и эффективно реконструировать динамические 3D-сцены, включая потоковую передачу видео со свободной точкой обзора.

Уникальная особенность QUEEN — её способность сжимать данные без потери качества, что делает её идеальной для использования в спорте, медицине, промышленности и медиа. Модель применяет метод 3D Gaussian Splatting, способна обучаться менее чем за 5 секунд и воспроизводить сцены со скоростью около 350 кадров в секунду, при этом размер модели составляет всего 0.7 МБ на кадр.

Это достигается за счёт эффективного кодирования остаточных атрибутов между последовательными кадрами и применения квантово-жидкостной структуры для сжатия данных. Модель будет представлена на конференции NeurIPS 2024 в Ванкувере, а её код планируется опубликовать в открытом доступе. Разработка QUEEN обещает революцию в создании 3D-контента, предлагая возможность интерактивного просмотра спортивных событий, образовательных материалов и других динамических сцен.