Playstation 5: Sony arbeitet an KI-gestütztem Upscaling

Dergleichen hat Nvidia mit DLSS bereits für Geforce-Karten umgesetzt und Microsoft mit DirectML für die Xbox Series X präsentiert.

Artikel veröffentlicht am ,
Playstation 5
Playstation 5 (Bild: Sony)

Ein Patent von Sony legt nahe, dass die Japaner für die Playstation 5 an einem KI-gestützten Upscaling arbeiten. Die Idee dahinter ist, ein neuronales Netz mit extrem hochauflösendem Referenzmaterial (Ground Truth) so zu trainieren, dass der Grafikprozessor der Konsole später niedrigere Auflösungen auf etwa 4K hochrechnen kann. Das Resultat sind höhere Bildraten bei im Idealfall sehr gut rekonstruierten Details.

Stellenmarkt
  1. Mitarbeiter (m/w/d) Strategischer Einkauf IT Dienstleistungen
    W&W Service GmbH, Ludwigsburg
  2. Softwareentwickler (m/w/d) mit Schwerpunkt Regelungstechnik/DSP
    KOSTAL Automobil Elektrik GmbH & Co. KG, Dortmund
Detailsuche

Im PC-Markt gibt es eine entsprechende Technik schon seit anderthalb Jahren, nämlich Nvidias DLSS (Deep Learning Super Sampling). Das Verfahren war anfangs wenig überzeugend, seit DLSS 2.0 ist der Algorithmus jedoch signifikant aufgewertet worden. In Spielen wie Control, Death Stranding, Minecraft RTX oder Wolfenstein Youngblood ist die Bildqualität stellenweise sogar besser als mit nativer Auflösung. Das gilt insbesondere für die Vegetation oder feine Strukturen in der Ferne.

DLSS 2.0 funktioniert einzig auf den Geforce RTX, da sie Tensor-Cores aufweisen. Diese Funktionseinheiten sind auf Matrix-Multiplikationen spezialisiert und können Inferencing, also das Anwenden eines bereits trainierten neuronalen Netzes, sehr schnell durchführen. Hierzu wird überlicherweise das INT8-Format verwendet, welches auch die Grafikeinheiten der Chips der Playstation 5 und der Xbox Series X unterstützen.

Die GPUs basieren auf AMDs RDNA2-Consumer-Architektur (R wie Radeon), welche somit INT8 mit einer mindestens der FP32-Rate entsprechenden Geschwindigkeit beherrschen sollten. Denkbar sind Anleihen der CDNA-Server-Technik (C wie Compute) um INT8 auf Faktor vier zu beschleunigen. Gerade in Kombination mit Raytracing wäre ein solches Verfahren sinnvoll, um die Framerate zu erhöhen. Daher nutzen fast alle RTX-Titel von Nvidia zugleich auch optional zuschaltbares DLSS.

Golem Akademie
  1. Hands-on C# Programmierung: virtueller Zwei-Tage-Workshop
    12.–13. Januar 2022, virtuell
  2. Ansible Fundamentals: Systemdeployment & -management: virtueller Drei-Tage-Workshop
    6.–8. Dezember 2021, Virtuell
Weitere IT-Trainings

Wie genau Sony das KI-gestützte Upscaling umsetzt, bleibt vorerst offen. Schon bei der Playstation 4 Pro gibt es mit dem Object-ID-Buffer jedoch extra entwickelte Hardware für Checkerboard-Rendering, weshalb Sony für die Playstation 5 ebenfalls Anpassungen vornehmen könnte.

Microsoft hatte AI-Upscaling bereits 2018 mit der DirectML-Schnittstelle unter DirectX 12 mit Forza Horizon 3 vorgeführt (ab 15:24), wir erwarten daher eine prinzipielle Unterstützung für derartige Techniken auch bei der Xbox Series X, da DirectML offiziell vorhanden ist.

Generell werden übrigens bei den allermeisten Spielen diverse Effekte nicht mit der vollen Render-Auflösung dargestellt. So werden Depth of Field oder SSAO oft mit halber oder geviertelter Auflösung berechnet.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Kanadische Polizei
Diebe nutzen Apples Airtags zum Tracking von Luxuswagen

Autodiebe in Kanada nutzen offenbar Apples Airtags, um Fahrzeuge heimlich zu orten.

Kanadische Polizei: Diebe nutzen Apples Airtags zum Tracking von Luxuswagen
Artikel
  1. Blender Foundation: Blender 3.0 ist da
    Blender Foundation
    Blender 3.0 ist da

    Die freie 3D-Software Blender bekommt ein Update - wir haben es uns angesehen.
    Von Martin Wolf

  2. 4 Motoren und 4-Rad-Lenkung: Tesla aktualisiert Cybertruck
    4 Motoren und 4-Rad-Lenkung
    Tesla aktualisiert Cybertruck

    Tesla-Chef Elon Musk hat einige Änderungen am Cybertruck angekündigt. Der elektrische Pick-up-Truck wird mit vier Motoren ausgerüstet.

  3. DSIRF: Hackerbehörde Zitis prüft österreichischen Staatstrojaner
    DSIRF
    Hackerbehörde Zitis prüft österreichischen Staatstrojaner

    Deutsche Behörden sind mit mehreren Staatstrojaner-Herstellern im Gespräch. Nun ist ein weiterer mit Sitz in Wien bekanntgeworden.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Saturn-Advent: SanDisk Ultra 3D 1 TB 77€ • KFA2 Geforce RTX 3070 OC 8GB 1.019€ • Alternate (u. a. AKRacing Core SX 269,98€) • Sharkoon PureWriter RGB 44,90€ • Corsair K70 RGB MK.2 139,99€ • 2x Canton Plus GX.3 49€ • Gaming-Monitore günstiger (u. a. Samsung G3 27" 144Hz 219€) [Werbung]
    •  /