GANverse3D: K.I.T.T. fährt in 3D aus 2D vor
Forschende von Nvidia haben ein Generative Adversarial Network (GAN) entworfen, um aus einem zweidimensionalen Foto ein dreidimensionales Objekt zu generieren und dieses zu rendern. Das als GANverse3D bezeichnete Verfahren kommt ohne das vorherige Training mit synthetischen 3D-Strukturen aus, stattdessen wird ein neuronales Netz mit 2D-Bildern gefüttert.
Um zu demonstrieren, wie der Algorithmus arbeitet und welche Resultate damit zu erreichen sind, hat Nvidia sich K.I.T.T. als Modell genommen. Der Knight Industries Two Thousand ist das mit künstlicher Intelligenz ausgestattet Auto aus Knight Rider, der Kultserie mit David Hasselhoff als Michael Knight.
Die Idee, aus zweidimensionalen Vorlagen dreidimensionale Objekte zu schaffen, ist nicht neu. Folgerichtig bezieht sich Nvidia auf diese Vorarbeit, der eigene Ansatz nutzt jedoch eine andere Idee: Als Input-Material werden Fotos aus multiplen Perspektiven verwendet, das eigene 16-schichtige Netzwerk namens StyleGAN(öffnet im neuen Fenster) erstellt weitere aus dem gleichen Blickpunkt.
Nvidia zufolge wurde das neuronale Netz mit 55.000 Fotos trainiert, wobei es sich besser schlagen soll ein Algorithmus, der mit dem populären Datenset von Pascal3D(öffnet im neuen Fenster) angelernt wurde. Schlussendlich generiert GANverse3D ein dreidimensionales Mesh, welches wiederum genutzt wird, um K.I.T.T. per Differentiable Renderer ( DIB-R(öffnet im neuen Fenster) ) darzustellen.
Mit Generative Adversarial Networks hat Nvidia einige Erfahrung: Schon 2017 zeigte der Hersteller ein entsprechendes Konzept , um Gesichter oder Objekte zu generieren. 2019 folgte mit GauGAN ein Malprogramm, das einfarbige und grobe Flächen in Elemente eines Landschaftsbildes umwandelt - etwa Flüsse, Pflanzen oder Wolken.