Phorum: Googles Software rendert Fotos von Menschen in 3D

Googles Projekt Phorum kann aus Bildern von Menschen nutzbare 3D-Modelle machen. Auch nicht sichtbare Teile werden dabei berechnet.

Artikel veröffentlicht am 28. April 2022, 13:02 Uhr, Oliver Nickel

Phorum errechnet 3D-Objekte aus einem 2D-Bild. (Bild: Google Research)

Die Forscher Thiemo Alldieck, Mihai Zanfir und Cristian Sminchisescu von Google Research entwickeln ein neuronales Netzwerk für das Scannen von 2D-Bildern in nutzbare 3D-Objekte. Das Projekt Phorum hat sich speziell auf die Scans von Personen spezialisiert. Aus einem frontal geschossenen Bild kann das System nutzbare Modelle erstellen. Dabei werden Punkte, die nicht im Bild zu sehen sind - etwa die Rückseite der Person - automatisch hinzuberechnet.

Außerdem generiert die KI aus den Bildpunkten Lichtreflexionen und Farben, die dann als Textur auf eine Figur gelegt werden können. Dabei werden zwei verschiedene Netzwerke genutzt. Ein Feature-Extraktor generiert Distanzwerte und Punkte innerhalb eines vorgegebenen 3D-Raumes. Ein Shading-Netzwerk errechnet auf Basis der Beleuchtung und des Normalenvektors aller Punkte dann Schattierungen und Farbwerte.

Genauer als andere Projekte dieser Art

Phorum ist laut den Forschern daher das einzige neuronale Netzwerk, das neben den Farben und Oberflächennormalen auch Helligkeitswerte und Schattierungen ausgibt, statt diese fest und als unveränderbare Konstanten zu integrieren. Es soll zudem wesentlich genauer arbeiten als andere Projekte ähnlicher Art, etwa Pifu und Arch.

Erste Ergebnisse zeigt Google in einem Vorstellungsvideo. Das System scheint auch an nicht sichtbaren Stellen, etwa den Rückseiten der Models, gut zu funktionieren. Allerdings verliert ein konstruiertes Modell dort sichtbar an Detailreichtum. Mit weiterer Forschung könnten solche Modelle aber eventuell etwa in der Spielebranche hilfreich sein, wenn aus Concept Art ein 3D-Modell erstellt werden soll. Das ist bisher ein manueller und zeitintensiver Prozess.