GANverse3D: K.I.T.T. fährt in 3D aus 2D vor

GTC 2021

Nvidia hat ein neuronales Netz entwickelt, das aus 2D-Bildern ein 3D-Modell generiert. Und was würde da besser passen als Knight Riders K.I.T.T.?

Artikel veröffentlicht am 16. April 2021, 15:00 Uhr, Marc Sauter

Knight Riders KITT als 3D-Modell (Bild: Nvidia)

Forschende von Nvidia haben ein Generative Adversarial Network (GAN) entworfen, um aus einem zweidimensionalen Foto ein dreidimensionales Objekt zu generieren und dieses zu rendern. Das als GANverse3D bezeichnete Verfahren kommt ohne das vorherige Training mit synthetischen 3D-Strukturen aus, stattdessen wird ein neuronales Netz mit 2D-Bildern gefüttert.

Um zu demonstrieren, wie der Algorithmus arbeitet und welche Resultate damit zu erreichen sind, hat Nvidia sich K.I.T.T. als Modell genommen. Der Knight Industries Two Thousand ist das mit künstlicher Intelligenz ausgestattet Auto aus Knight Rider, der Kultserie mit David Hasselhoff als Michael Knight.

Die Idee, aus zweidimensionalen Vorlagen dreidimensionale Objekte zu schaffen, ist nicht neu. Folgerichtig bezieht sich Nvidia auf diese Vorarbeit, der eigene Ansatz nutzt jedoch eine andere Idee: Als Input-Material werden Fotos aus multiplen Perspektiven verwendet, das eigene 16-schichtige Netzwerk namens StyleGAN erstellt weitere aus dem gleichen Blickpunkt.

Nvidia zufolge wurde das neuronale Netz mit 55.000 Fotos trainiert, wobei es sich besser schlagen soll ein Algorithmus, der mit dem populären Datenset von Pascal3D angelernt wurde. Schlussendlich generiert GANverse3D ein dreidimensionales Mesh, welches wiederum genutzt wird, um K.I.T.T. per Differentiable Renderer (DIB-R) darzustellen.

Mit Generative Adversarial Networks hat Nvidia einige Erfahrung: Schon 2017 zeigte der Hersteller ein entsprechendes Konzept, um Gesichter oder Objekte zu generieren. 2019 folgte mit GauGAN ein Malprogramm, das einfarbige und grobe Flächen in Elemente eines Landschaftsbildes umwandelt - etwa Flüsse, Pflanzen oder Wolken.