NVIDIA розробила модель ШІ здатну змінювати ракурс перегляду відео в режимі реального часу

Компанія NVIDIA спільно з Університетом Меріленду представила нову модель штучного інтелекту QUEEN (QUantized Efficient ENcoding), яка дозволяє швидко та ефективно реконструювати динамічні 3D-сцени, включаючи потокову передачу відео з вільною точкою огляду.

Унікальна особливість QUEEN — її здатність стискати дані без втрати якості, що робить її ідеальною для використання у спорті, медицині, промисловості та медіа. Модель застосовує метод 3D Gaussian Splatting, здатна навчатися менш ніж за 5 секунд і відтворювати сцени зі швидкістю близько 350 кадрів за секунду, при цьому розмір моделі становить 0.7 МБ на кадр.

Це досягається за рахунок ефективного кодування залишкових атрибутів між послідовними кадрами та застосування квантово-рідинної структури для стиснення даних. Модель буде представлена ​​на конференції NeurIPS 2024 у Ванкувері, а її код планується опублікувати у відкритому доступі. Розробка QUEEN обіцяє революцію у створенні 3D-контенту, пропонуючи можливість інтерактивного перегляду спортивних подій, освітніх матеріалів та інших динамічних сцен.