• IT-Karriere:
  • Services:

GANverse3D: K.I.T.T. fährt in 3D aus 2D vor

Nvidia hat ein neuronales Netz entwickelt, das aus 2D-Bildern ein 3D-Modell generiert. Und was würde da besser passen als Knight Riders K.I.T.T.?

Artikel veröffentlicht am ,
Knight Riders KITT als 3D-Modell
Knight Riders KITT als 3D-Modell (Bild: Nvidia)

Forschende von Nvidia haben ein Generative Adversarial Network (GAN) entworfen, um aus einem zweidimensionalen Foto ein dreidimensionales Objekt zu generieren und dieses zu rendern. Das als GANverse3D bezeichnete Verfahren kommt ohne das vorherige Training mit synthetischen 3D-Strukturen aus, stattdessen wird ein neuronales Netz mit 2D-Bildern gefüttert.

Stellenmarkt
  1. Dr. August Oetker Nahrungsmittel KG, Bielefeld
  2. Allianz Deutschland AG, München, Unterföhring

Um zu demonstrieren, wie der Algorithmus arbeitet und welche Resultate damit zu erreichen sind, hat Nvidia sich K.I.T.T. als Modell genommen. Der Knight Industries Two Thousand ist das mit künstlicher Intelligenz ausgestattet Auto aus Knight Rider, der Kultserie mit David Hasselhoff als Michael Knight.

Die Idee, aus zweidimensionalen Vorlagen dreidimensionale Objekte zu schaffen, ist nicht neu. Folgerichtig bezieht sich Nvidia auf diese Vorarbeit, der eigene Ansatz nutzt jedoch eine andere Idee: Als Input-Material werden Fotos aus multiplen Perspektiven verwendet, das eigene 16-schichtige Netzwerk namens StyleGAN erstellt weitere aus dem gleichen Blickpunkt.

Nvidia zufolge wurde das neuronale Netz mit 55.000 Fotos trainiert, wobei es sich besser schlagen soll ein Algorithmus, der mit dem populären Datenset von Pascal3D angelernt wurde. Schlussendlich generiert GANverse3D ein dreidimensionales Mesh, welches wiederum genutzt wird, um K.I.T.T. per Differentiable Renderer (DIB-R) darzustellen.

Mit Generative Adversarial Networks hat Nvidia einige Erfahrung: Schon 2017 zeigte der Hersteller ein entsprechendes Konzept, um Gesichter oder Objekte zu generieren. 2019 folgte mit GauGAN ein Malprogramm, das einfarbige und grobe Flächen in Elemente eines Landschaftsbildes umwandelt - etwa Flüsse, Pflanzen oder Wolken.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. für PC, PS4/PS5, Xbox und Switch
  2. 3,33€
  3. 25,99€

P_AI 23. Apr 2021 / Themenstart

Das Paper nennt sich "IMAGE GANS MEET DIFFERENTIABLE RENDERING FOR INVERSEGRAPHICS AND...

P_AI 23. Apr 2021 / Themenstart

Nicht nur Microsoft hat sowas, da gibt es zahlreiche (auch frei verfügbare) Algorithmen...

P_AI 23. Apr 2021 / Themenstart

Klar, es ist noch nicht perfekt. Aber es ist eben nicht leicht aus einem Bild die 3D...

Kommentieren


Folgen Sie uns
       


Die Tesla-Baustelle von oben 2020-2021

Wir haben den Fortschritt in Grünheide dokumentiert.

Die Tesla-Baustelle von oben 2020-2021 Video aufrufen
Programm für IT-Jobeinstieg: Hoffen auf den Klebeeffekt
Programm für IT-Jobeinstieg
Hoffen auf den Klebeeffekt

Aktuell ist der Jobeinstieg für junge Ingenieure und Informatiker schwer. Um ihnen zu helfen, hat das Land Baden-Württemberg eine interessante Idee: Es macht sich selbst zur Zeitarbeitsfirma.
Ein Bericht von Peter Ilg

  1. Arbeitszeit Das Sechs-Stunden-Experiment bei Sipgate
  2. Neuorientierung im IT-Job Endlich mal machen!
  3. IT-Unternehmen Die richtige Software für ein Projekt finden

Weclapp-CTO Ertan Özdil: Wir dürfen nicht in Schönheit und Perfektion untergehen!
Weclapp-CTO Ertan Özdil
"Wir dürfen nicht in Schönheit und Perfektion untergehen!"

Der CTO von Weclapp träumt von smarter Software, die menschliches Eingreifen in der nächsten ERP-Generation reduziert. Deutschen Perfektionismus hält Ertan Özdil aber für gefährlich.
Ein Interview von Maja Hoock


    Fiat 500 als E-Auto im Test: Kleinstwagen mit großem Potenzial
    Fiat 500 als E-Auto im Test
    Kleinstwagen mit großem Potenzial

    Fiat hat einen neuen 500er entwickelt. Der Kleine fährt elektrisch - und zwar richtig gut.
    Ein Test von Peter Ilg

    1. Vierradlenkung Elektrischer GMC Hummer SUV fährt im Krabbengang seitwärts
    2. MG Cyberster MG B Roadster mit Lasergürtel und Union Jack
    3. Elektroauto E-Auto-Prämie übersteigt in 2021 schon Vorjahressumme

      •  /