NVIDIA QUEEN: model AI, który umożliwia zmianę kąta oglądania wideo w czasie rzeczywistym z prędkością 350 kl.

NVIDIA, we współpracy z Uniwersytetem Maryland, zaprezentowała nowy model sztucznej inteligencji o nazwie QUANTIZED Efficient ENcoding (QUUE ), który pozwala na szybką i wydajną rekonstrukcję dynamicznych scen 3D, nawet w czasie rzeczywistym. Technologia ta może być wykorzystywana w strumieniowaniu wideo w trybie free-view.

Co wiadomo

Cechą szczególną tego modelu jest zdolność do wydajnej kompresji danych przy zachowaniu wysokiej jakości obrazu. Pozwala to na wykorzystanie go w obszarach, w których ważna jest szybkość i dokładność: w sporcie, medycynie, przemyśle i mediach. QUEEN wykorzystuje metodę 3D Gaussian Splatting do tworzenia strumieniowych materiałów wideo ze swobodnym punktem widzenia. Jest w stanie trenować w mniej niż 5 sekund i renderować sceny z prędkością około 350 klatek na sekundę, zmniejszając rozmiar modelu do 0,7 MB na klatkę. Osiągnięto to dzięki wydajnemu kodowaniu pozostałych atrybutów między kolejnymi klatkami i wykorzystaniu kwantowej struktury rzadkiej do kompresji danych. Tak to wygląda w rzeczywistości:

Wideo: demonstracja NVIDIA Queen, źródło: NVIDIA

Nasza metoda QUEEN jest w stanie uchwycić dynamiczne sceny o wysokiej jakości wizualnej i zmniejszyć rozmiar modelu do zaledwie 0,7 MB na klatkę, trenując w mniej niż 5 sekund i renderując przy ~350 FPS.

Model QUEEN zostanie zaprezentowany na konferencji NeurIPS 2024, która rozpocznie się 10 grudnia w Vancouver w Kanadzie. Oczekuje się, że kod modelu zostanie opublikowany z otwartym dostępem na stronie projektu. Opracowanie to jest jednym z ponad 50 prac NVIDIA, które zostaną zaprezentowane na NeurIPS 2024, demonstrując osiągnięcia firmy w dziedzinie sztucznej inteligencji z potencjalnymi zastosowaniami w symulacji, robotyce i opiece zdrowotnej.

Wideo: demonstracja NVIDIA Queen, źródło: NVIDIA

Dlaczego jest to ważne

Model Queen pomoże tworzyć bardzo fajne obrazy i filmy 3D w czasie rzeczywistym, które można oglądać pod różnymi kątami. Wyobraź sobie, że oglądasz mecz swojej ulubionej drużyny i możesz wybrać, pod jakim kątem chcesz obejrzeć bramkę! Albo, podczas wykładu, zamiast zwykłych ilustracji, na tablicy pojawia się prawdziwa animacja 3D wyjaśniająca, jak coś działa. Dzięki temu nauka i rozrywka będą jeszcze bardziej interesujące.