Neural Rendering / DLSS 4 / Reflex 2

Neural Rendering

Neural Rendering verspricht, moderne Grafiken ebenso transformativ zu beeinflussen wie programmierbare Shader selbst. Das 3D-Grafik-Rendering hat sich im Laufe der Jahrhundertwende von einer festen Funktion zu programmierbaren Shadern, HLSL, Geometrie-Shadern, Computer-Shadern und Raytracing weiterentwickelt. Im Jahr 2025 schreibt NVIDIA mit den neuronalen Blackwell-Shadern das nächste Kapitel auf dieser Reise. Dies ermöglicht eine Vielzahl neuronaler Effekte, einschließlich neuronaler Materialien, neuronaler Volumina und sogar neuronaler Strahlungsfelder. Microsoft hat in einem aktuellen Update die neue Cooperative Vectors API für DirectX eingeführt, die den Zugriff auf Tensor-Kerne innerhalb einer Grafik-API ermöglicht. In Kombination mit einer neuen Schattierungssprache, Slang, ermöglicht dieser Durchbruch Entwicklern, neuronale Techniken direkt in ihre Arbeitsabläufe zu integrieren und so möglicherweise Teile der traditionellen Grafikpipeline zu ersetzen. Slang unterteilt große, komplexe Funktionen in kleinere Teile, die einfacher zu handhaben sind. Da es sich um eine DirectX-Standard-API-Funktion handelt, hindert AMD und Intel nichts daran, Neural Rendering (Cooperative Vectors) in ihre Grafiktreiber zu integrieren.

DLSS 4 und Multi Frame Generation

DLSS 4 führt zu einem großen Sprung in der Bildqualität und Leistung. Es handelt sich nicht nur um einen Versionssprung mit der Einführung einer neuen Funktion, nämlich der Multi-Frame-Generierung, sondern es werden Aktualisierungen für fast alle DLSS-Unterfunktionen eingeführt. DLSS setzte von Anfang an auf KI, um Details in Superauflösung zu rekonstruieren, und mit DLSS 4 führt NVIDIA ein neues transformatorbasiertes KI-Modell ein, das die bisher verwendeten Faltungs-Neuronalen Netze ablöst und doppelte Parameter, eine vierfache Rechenleistung und eine deutlich verbesserte Bildqualität bietet. Ray Reconstruction, eingeführt mit DLSS 3.5, erhält mit dem neuen transformatorbasierten Modell ein bedeutendes Update der Bildqualität. Die Blackwell-GPUs haben aktualisierte Tensor-Kerne der fünften Generation, die 2.5-mal schneller arbeiten als die vierte Generation. Das ermöglicht ein weiteres Feature von DLSS 4 - Multi-Frame Generation (MFG). Statt nur ein KI-generiertes Zwischenbild pro klassisch gerendertem Bild zu erzeugen, können damit drei Bilder ohne Nutzung der SMs und CPU generiert werden.
Ein Nachteil von Frame Generation ist bislang die dadurch verursachte höhere Verzögerungszeit (Latenz). Nvidia gibt dabei die PC-Latenz an, gemeint ist die Verzögerung des Gesamtsystems von der Eingabe an der Maus bis zur Darstellung des darauf basierenden Bildes auf dem Display.

Reflex 2

Das ursprüngliche NVIDIA Reflex führte zu einer erheblichen Verbesserung der Reaktionsfähigkeit bei maximaler Grafikleistung im kompetitiven Online-Gameplay, indem die Rendering-Warteschlange komprimiert wurde, mit dem Ziel, die Latenz des gesamten Systems um bis zu 50 % zu reduzieren. Aufgrund der durch die Technologie verursachten Latenzkosten ist Reflex bei der DLSS-3-Frame-Generierung obligatorisch. Die Generierung mehrerer Frames erfordert eine ebenso ausgefeilte Technologie, daher kommt nun Reflex 2 zum Einsatz. NVIDIA behauptet, mit Frame Warp eine Reduzierung der Latenz um 75 % erreicht zu haben, das die Kamerapositionen (Ansichtsfenster) basierend auf Benutzereingaben in Echtzeit aktualisiert und dann zeitliche Informationen verwendet, um das anzuzeigende Frame zu rekonstruieren.