GANverse3D: K.I.T.T. fährt in 3D aus 2D vor

Nvidia hat ein neuronales Netz entwickelt, das aus 2D-Bildern ein 3D-Modell generiert. Und was würde da besser passen als Knight Riders K.I.T.T.?

Artikel veröffentlicht am ,
Knight Riders KITT als 3D-Modell
Knight Riders KITT als 3D-Modell (Bild: Nvidia)

Forschende von Nvidia haben ein Generative Adversarial Network (GAN) entworfen, um aus einem zweidimensionalen Foto ein dreidimensionales Objekt zu generieren und dieses zu rendern. Das als GANverse3D bezeichnete Verfahren kommt ohne das vorherige Training mit synthetischen 3D-Strukturen aus, stattdessen wird ein neuronales Netz mit 2D-Bildern gefüttert.

Stellenmarkt
  1. Business Analyst / Prozessmanager (m/w/d) Finanzen
    VPV Versicherungen, Stuttgart
  2. IT-Supporter User Helpdesk (m/w/d)
    experts, Raum Ulm
Detailsuche

Um zu demonstrieren, wie der Algorithmus arbeitet und welche Resultate damit zu erreichen sind, hat Nvidia sich K.I.T.T. als Modell genommen. Der Knight Industries Two Thousand ist das mit künstlicher Intelligenz ausgestattet Auto aus Knight Rider, der Kultserie mit David Hasselhoff als Michael Knight.

Die Idee, aus zweidimensionalen Vorlagen dreidimensionale Objekte zu schaffen, ist nicht neu. Folgerichtig bezieht sich Nvidia auf diese Vorarbeit, der eigene Ansatz nutzt jedoch eine andere Idee: Als Input-Material werden Fotos aus multiplen Perspektiven verwendet, das eigene 16-schichtige Netzwerk namens StyleGAN erstellt weitere aus dem gleichen Blickpunkt.

Nvidia zufolge wurde das neuronale Netz mit 55.000 Fotos trainiert, wobei es sich besser schlagen soll ein Algorithmus, der mit dem populären Datenset von Pascal3D angelernt wurde. Schlussendlich generiert GANverse3D ein dreidimensionales Mesh, welches wiederum genutzt wird, um K.I.T.T. per Differentiable Renderer (DIB-R) darzustellen.

Golem Akademie
  1. Einführung in Unity: virtueller Ein-Tages-Workshop
    17. Februar 2022, Virtuell
  2. Cloud Transformation Roadmap: Strategien, Roadmap, Governance: virtueller Zwei-Tage-Workshop
    7.–8. März 2022, Virtuell
Weitere IT-Trainings

Mit Generative Adversarial Networks hat Nvidia einige Erfahrung: Schon 2017 zeigte der Hersteller ein entsprechendes Konzept, um Gesichter oder Objekte zu generieren. 2019 folgte mit GauGAN ein Malprogramm, das einfarbige und grobe Flächen in Elemente eines Landschaftsbildes umwandelt - etwa Flüsse, Pflanzen oder Wolken.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


P_AI 23. Apr 2021

Das Paper nennt sich "IMAGE GANS MEET DIFFERENTIABLE RENDERING FOR INVERSEGRAPHICS AND...

P_AI 23. Apr 2021

Nicht nur Microsoft hat sowas, da gibt es zahlreiche (auch frei verfügbare) Algorithmen...

P_AI 23. Apr 2021

Klar, es ist noch nicht perfekt. Aber es ist eben nicht leicht aus einem Bild die 3D...



Aktuell auf der Startseite von Golem.de
Musterfeststellungsklage
Parship kann eine Kündigungswelle erwarten

Die Verbraucherzentrale ruft zur Kündigung bei Parship und zur Teilnahme an einer Musterfeststellungsklage auf. Doch laut Betreiber PE Digital ist das aussichtslos.

Musterfeststellungsklage: Parship kann eine Kündigungswelle erwarten
Artikel
  1. Open Source: Antworten Sie innerhalb von 24 Stunden
    Open Source
    "Antworten Sie innerhalb von 24 Stunden"

    Die E-Mail eines großen Konzerns an den Entwickler von Curl zeigt wohl eher aus Versehen, wie problematisch das Verhältnis vieler Firmen zu Open-Source-Software ist.

  2. Raumfahrt: US-Weltraumstreitkräfte starten zwei Spionagesatelliten
    Raumfahrt
    US-Weltraumstreitkräfte starten zwei Spionagesatelliten

    Was können denn andere Satelliten im geostationären Orbit? Fliegen wir hin und schauen nach.

  3. Elektro-Pick-up: Neuer Tesla-Cybertruck-Prototyp gefilmt
    Elektro-Pick-up
    Neuer Tesla-Cybertruck-Prototyp gefilmt

    In einem Video wird ein neuer Cybertruck-Prototyp von Tesla im Detail gezeigt. Es stammt vermutlich aus der Gigafactory in Texas.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • RTX 3070 Ti 8GB 1.039€ • RX 6900XT 16 GB für 1.495€ • Acer Curved Gaming-Monitor 27" 259€ • RX 6800XT 16GB 1.229€ • Corsair 16GB DDR4-4000 111,21€ • 10% auf Gaming bei Ebay (u. a. Gigabyte 34" Curved UWQHD 144Hz 429,30€) • Razer Gaming-Stuhl 179,99€ [Werbung]
    •  /