Na veletrhu CES 2025 vedla společnost Digital Foundry rozhovor s Bryanem Catanzarem, viceprezidentem pro aplikovaný výzkum hlubokého učení, o oznámení NVIDIA DLSS 4 a jeho mnoha vylepšeních v oblasti super rozlišení, rekonstrukce paprsků a generování snímků.
Catanzaro hovořil o nových transformačních modelech, které nahrazují CNN (konvoluční neuronové sítě) pro Super Resolution a Ray Reconstruction. Ty jsou jednoduše mnohem chytřejší, lze je trénovat na větších souborech dat a ve výsledku lépe rozhodují, čímž zlepšují historické nedostatky NVIDIA DLSS, jako je shimmering nebo ghosting. Nový model Super Resolution má například čtyřikrát vyšší výpočetní výkon ve srovnání s předchozím modelem. Catanzaro neposkytl odhad, o kolik se prodlouží doba vykreslování, ale řekl, že NVIDIA věří, že je to nejlepší způsob, jak hrát na nových grafických kartách GeForce RTX 50 s technologií Blackwell, které budou uvedeny na trh koncem tohoto měsíce.
Přepracováno je také generování snímků, kdy se opouští předchozí model založený na hardwarovém akcelerátoru Optical Flow a přechází se na řešení poháněné výhradně umělou inteligencí. Zde je důvod, proč to NVIDIA dělá:
„Když jsme vytvářeli NVIDIA DLSS 3 Frame Generation, nezbytně jsme potřebovali hardwarovou akceleraci pro výpočet Optical Flow. Neměli jsme dostatek Tensor Cores a neměli jsme dostatečně dobrý algoritmus Optical Flow. Neměli jsme vyvinutý algoritmus Optical Flow, který by běžel v reálném čase na Tensor Cores a který by se vešel do našeho výpočetního rozpočtu. Měli jsme akcelerátor Optical Flow, který NVIDIA budovala několik let jako evoluci naší technologie enkodéru videa, a byl také součástí naší akcelerace počítačového vidění pro samořízená auta.“
Související článek
„Dávalo nám smysl použít jej pro generování snímků NVIDIA DLSS 3. Ale obtížné na jakékoli hardwarové implementaci algoritmu, jako je Optical Flow, je to, že je opravdu obtížné jej vylepšovat. Je tak nějak takový, jaký je, a selhání, která vznikla z tohoto hardwarového Optical Flow, jsme nemohli napravit chytřejší neuronovou sítí, až jsme se rozhodli ho prostě nahradit a přejít na řešení plně založené na umělé inteligenci, takže to jsme udělali pro Frame Generation v DLSS 4.“
Nový model Frame Generation je sice náročnější na Tensor Cores, ale využívá méně VRAM, nabízí lepší kvalitu obrazu (což Catanzaro považoval za rozhodující, zejména pro novou Multi Frame Generation dostupnou na nových GPU RTX 50) a je také efektivnější, protože náklady byly amortizovány na více snímků.
Alex Battaglia z DF se pak zeptal, zda by nový model mohl být portován na starší hardware, jako je řada GeForce RTX 30, a šéf NVIDIA DLSS si tyto dveře nezavřel:
„Myslím, že je to především otázka optimalizace a také inženýrství a pak konečného uživatelského zážitku. Tuto generaci snímků, nejlepší technologii Multi Frame Generation, uvádíme na trh s řadou 50 a uvidíme, co budeme schopni v budoucnu vymáčknout ze staršího hardwaru.“
Připomeňme, že když NVIDIA představila Frame Generation s grafickými kartami GeForce RTX 40, sám Catanzaro vysvětlil, že tato funkce byla exkluzivní pro tehdejší nové grafické procesory, protože měly mnohem lepší hardwarový akcelerátor Optical Flow než řada RTX 30. Tehdy také řekl, že je teoreticky možné ji přenést i na starší hardware, i když by to pravděpodobně nebylo tak přínosné.
Vzhledem k tomu, že s novým modelem zmizel požadavek na hardwarový akcelerátor Optical Flow, zdá se, že nyní jsou pro to dveře otevřené. Catanzaro však také uvedl, že požadavky na jádro Tensor Core jsou vyšší a starší architektura GPU má zřejmě horší výkon jádra Tensor Core. Uvidíme, zda se to společnosti NVIDIA skutečně podaří.
Na jiném místě rozhovoru Bryan Catanzaro zdůraznil důležitost oddělení aktualizovaného flip meteringu od CPU, aby se snížila variabilita času snímků (a tím se zlepšilo tempo snímků) pětkrát až desetkrát oproti dřívějšku. V neposlední řadě prohlásil, že hraní hry s Reflexem 2 (který je rovněž založen na umělé inteligenci) je mnohem „propojenější“, a věří, že zejména hráči citliví na latenci si jej zamilují.
Zůstaňte naladěni na další zpravodajství o NVIDIA DLSS 4, jakmile se přiblížíme k uvedení nových grafických karet GeForce RTX 50.