Raytracing verbessert: Nvidia stellt DLSS 3.5 mit Ray Reconstruction vor
Nvidia hat heute auf der Gamescom 2023 DLSS 3.5 vorgestellt(öffnet im neuen Fenster) . Die darin neue Funktion heißt Ray Reconstruction und sorgt dem Namen nach dafür, dass Beleuchtungseffekte mit mehr Details berechnet werden können. Erste Titel sollen bereits in Kürze verfügbar sein. Wie üblich müssen Spieleentwickler die Funktion explizit unterstützen.
Für die Beleuchtung mit Raytracing werden zunächst pro Bild Materialien und die Geometrie berechnet, im Anschluss daran werden die Beleuchtungseffekte mittels Raytracing berechnet. Da die Anzahl der Lichtstrahlen begrenzt ist, füllt ein Entrauschungsalgorithmus (Denoiser) die fehlenden Pixel auf. Das daraus entstehende Beleuchtungsbild wird für das fertige Frame im Anschluss noch hochskaliert.
Den Schwachpunkt sieht Nvidia bei diesem Vorgehen im Entrauschungsalgorithmus, der für seine Funktion mehrere Datenpunkte verwendet. Mittels Temporal Akkumulation werden die vorherigen Bilder analysiert, um daraus ableiten zu können, wie die Pixel im aktuellen Bild aussehen müssten. Spatial Interpolation berücksichtigt außerdem benachbarte Pixel bei der Berechnung.
Blending sorgt für hübsche Bilder, verschluckt aber Details
Probleme gibt es, wenn sich die Bildinhalte stark voneinander unterscheiden, beispielsweise bei schnellen Bewegungen. Außerdem sind nicht immer genug Daten vorhanden, mit denen der Algorithmus arbeiten kann. Das sorgt für ein Auffüllen von Bildern mit zwar passend aussehenden, aber nicht beabsichtigten Bildelementen. Der Prozess entfernt sogar Bildinformationen durch das Vermischen und Annähern der Pixel, so dass das Endergebnis auch nach dem Hochskalieren detailarm wirkt.
DLSS 3.5 nutzt dieselben Bewegungsvektoren, die auch bei regulärer Frame Generation verwendet werden, um bei zwei aufeinanderfolgenden Bildern die fehlenden Lichtstrahlen mit hoher Genauigkeit zu rekonstruieren. Außerdem werden Daten aus der Engine des Spiels genutzt, um mehr Informationen über kommende Bilder zu bekommen. Die KI ist darauf trainiert, unpassende Pixel von passenden unterscheiden zu können. Das soll helfen, mehr Details für das fertige Bild zu erhalten, statt sie einfach für ein harmonisch wirkendes Bild verschwimmen zu lassen.
DLSS 3.5 kann auf der Gamescom am Nvidia-Stand ausprobiert werden. Während DLSS Frame Generation (DLSS 3) eine Nvidia-RTX-4000-Grafikkarte benötigt, läuft die Ray Reconstruction aus DLSS 3.5 auf allen RTX-fähigen Grafikkarten. Diesen Herbst sollen Cyberpunk 2077: Phantom Liberty, Portal RTX, Alan Wake 2 sowie die Renderer von Nvidia Omniverse, Chaos Vantage und D5 Render ein Update für DLSS 3.5 bekommen.