• IT-Karriere:
  • Services:

KI: Software generiert 3D-Modelle aus 2D-Bildern

Das Forscherteam arbeitetet seit einigen Jahren an Pifu und Pifu HD. Die KI kann sowohl Fotos als auch Videos in 3D-Figuren umwandeln.

Artikel veröffentlicht am ,
Pifu generiert 3D-Modelle aus 2D-Bildern.
Pifu generiert 3D-Modelle aus 2D-Bildern. (Bild: Shunsuke Saito)

Ein Forscherteam der Univesity of Southern California und der beiden Facebook-Abteilungen Reality Labs und AI Research haben ein neuronales Netzwerk entwickelt, das aus 2D-Bildern 3D-Figuren erstellen kann. Bisher wurde die Pixel-Aligned Implicit Function HD (Pifu HD) für Menschen mit Kleidung trainiert. Das System soll akkurat neben Gesichtszügen wie Mund und Nase auch Falten und Textur von Kleidungsstücken in ein entsprechendes 3D-Modell konvertieren können.

Stellenmarkt
  1. Interhyp Gruppe, Berlin, München
  2. Gottfried Wilhelm Leibniz Universität Hannover, Hannover

Die überarbeitete Version Pifu HD baut auf dem im vergangenen Jahr vorgestellten Pifu auf und rendert Bilder in einer höheren 1k-Auflösung statt nur in etwa 128 x 128 Pixeln. Der Vorteil: Durch mehr Pixelinformationen können kleinere Details für ein 3D-Modell übertragen werden - etwa Falten und Fingerpositionen. Der Wissenschaftler Shunsuke Saito stellt die Arbeit und dessen Vorgänger Pifu in zwei Videos vor. Auch existiert ein wissenschaftliches Papier mit detaillierten Infos dazu.

Deep-Fashion-Datensatz als Quelle

Trainiert wird das Modell anhand von 2D-Bildern, die als Referenzpunkte gelten. Hier wurde der Deep-Fashion-Datensatz genutzt, der männliche und weibliche Fotomodelle in diversen Posen und mit verschiedenen Kleidungsstücken enthält. Ähnlich wie bei medizinischen MRT-Abbildungen werden dabei von jeder Tiefenebene Querschnitte generiert, die zum Schluss zusammengesetzt eine dreidimensionale Figur ergeben. Ein Bild-Encoder berechnet dabei zu jedem 2D-Pixel die jeweilige 3D-Koordinate Z und schätzt, ob sich diese innerhalb oder außerhalb des jeweils betrachteten Bildquerschnitts befindet. Diese Mengen nennt das Forscherteam Occupancy Fields.

Pifu HD lässt einen grobauflösenden und einen feinauflösenden Bildencoder parallel laufen. Zweiterer nutzt die vom ursprünglichen Pifu, welches ausschließlich auf einen grob auflösenden Bildencoder setzt, generierten 3D-Informationen und erstellt daraus ein eigenes 3D-Modell. Dieses ist durch die höhere Auflösung detaillierter. Die Vorgängerversion konnte zudem auch RGB-Werte von Bildern erkennen, um daraus Texturen für die 3D-Modelle zu erstellen. Pifu HD gibt derzeit noch untexturierte Modelle aus.

Beide Modelle können dabei auch Videoquellen verwenden und diese in 3D-Modelle in Echtzeit und Bild für Bild umwandeln. In einer Videodemonstration funktioniert das schon ganz gut, wenn auch einige Artefakte zu erkennen sind - vor allem an verdeckten Stellen. Deshalb kann Pifu aus mehreren Bildern derselben Referenzperson mit verschiedenen Betrachtungswinkeln ein wesentlich detaillierteres 3D-Modell generieren.

Gerade in Bewegung ist das System aber noch nicht ausgereift und zudem nicht hochauflösend genug, um produktiv eingesetzt zu werden. Der Schritt zwischen den beiden Pifu-Generationen zeigt aber, dass sich das schnell ändern kann.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Hardware-Angebote
  1. (u. a. XFX Radeon RX 6800 QICK319 BLACK Gaming 16GB für 949€)
  2. (u. a. Ryzen 7 5800X 469€)

Poison Nuke 22. Jun 2020

Die Arbeit wurde unter CC-BY-NC veröffentlicht. D.h. ausschließlich nur private Nutzer...


Folgen Sie uns
       


Gocycle GX - Test

Das Gocycle GX hat einen recht speziellen Pedelec-Sound, aber dafür viele Vorteile.

Gocycle GX - Test Video aufrufen
    •  /