KI: Software generiert 3D-Modelle aus 2D-Bildern

Das Forscherteam arbeitetet seit einigen Jahren an Pifu und Pifu HD. Die KI kann sowohl Fotos als auch Videos in 3D-Figuren umwandeln.

Artikel veröffentlicht am ,
Pifu generiert 3D-Modelle aus 2D-Bildern.
Pifu generiert 3D-Modelle aus 2D-Bildern. (Bild: Shunsuke Saito)

Ein Forscherteam der Univesity of Southern California und der beiden Facebook-Abteilungen Reality Labs und AI Research haben ein neuronales Netzwerk entwickelt, das aus 2D-Bildern 3D-Figuren erstellen kann. Bisher wurde die Pixel-Aligned Implicit Function HD (Pifu HD) für Menschen mit Kleidung trainiert. Das System soll akkurat neben Gesichtszügen wie Mund und Nase auch Falten und Textur von Kleidungsstücken in ein entsprechendes 3D-Modell konvertieren können.

Stellenmarkt
  1. Softwareentwickler Functional Safety Embedded Systeme / Controller (w/m/d)
    SEW-EURODRIVE GmbH & Co KG, Bruchsal
  2. Sachbearbeiterin / Sachbearbeiter (w/m/d) IT-Produktbetreuung und Entwicklung mit dem Schwerpunkt ... (m/w/d)
    Bundesanstalt für Immobilienaufgaben, Potsdam
Detailsuche

Die überarbeitete Version Pifu HD baut auf dem im vergangenen Jahr vorgestellten Pifu auf und rendert Bilder in einer höheren 1k-Auflösung statt nur in etwa 128 x 128 Pixeln. Der Vorteil: Durch mehr Pixelinformationen können kleinere Details für ein 3D-Modell übertragen werden - etwa Falten und Fingerpositionen. Der Wissenschaftler Shunsuke Saito stellt die Arbeit und dessen Vorgänger Pifu in zwei Videos vor. Auch existiert ein wissenschaftliches Papier mit detaillierten Infos dazu.

Deep-Fashion-Datensatz als Quelle

Trainiert wird das Modell anhand von 2D-Bildern, die als Referenzpunkte gelten. Hier wurde der Deep-Fashion-Datensatz genutzt, der männliche und weibliche Fotomodelle in diversen Posen und mit verschiedenen Kleidungsstücken enthält. Ähnlich wie bei medizinischen MRT-Abbildungen werden dabei von jeder Tiefenebene Querschnitte generiert, die zum Schluss zusammengesetzt eine dreidimensionale Figur ergeben. Ein Bild-Encoder berechnet dabei zu jedem 2D-Pixel die jeweilige 3D-Koordinate Z und schätzt, ob sich diese innerhalb oder außerhalb des jeweils betrachteten Bildquerschnitts befindet. Diese Mengen nennt das Forscherteam Occupancy Fields.

Pifu HD lässt einen grobauflösenden und einen feinauflösenden Bildencoder parallel laufen. Zweiterer nutzt die vom ursprünglichen Pifu, welches ausschließlich auf einen grob auflösenden Bildencoder setzt, generierten 3D-Informationen und erstellt daraus ein eigenes 3D-Modell. Dieses ist durch die höhere Auflösung detaillierter. Die Vorgängerversion konnte zudem auch RGB-Werte von Bildern erkennen, um daraus Texturen für die 3D-Modelle zu erstellen. Pifu HD gibt derzeit noch untexturierte Modelle aus.

Golem Akademie
  1. IT-Fachseminare der Golem Akademie
    Live-Workshops zu Schlüsselqualifikationen
  2. 1:1-Videocoaching mit Golem Shifoo
    Berufliche Herausforderungen meistern
  3. Online-Sprachkurse mit Golem & Gymglish
    Kurze Lektionen, die funktionieren
Weitere IT-Trainings

Beide Modelle können dabei auch Videoquellen verwenden und diese in 3D-Modelle in Echtzeit und Bild für Bild umwandeln. In einer Videodemonstration funktioniert das schon ganz gut, wenn auch einige Artefakte zu erkennen sind - vor allem an verdeckten Stellen. Deshalb kann Pifu aus mehreren Bildern derselben Referenzperson mit verschiedenen Betrachtungswinkeln ein wesentlich detaillierteres 3D-Modell generieren.

Gerade in Bewegung ist das System aber noch nicht ausgereift und zudem nicht hochauflösend genug, um produktiv eingesetzt zu werden. Der Schritt zwischen den beiden Pifu-Generationen zeigt aber, dass sich das schnell ändern kann.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Kooperation
Amazon Kreditkarte mit Landesbank Berlin wird eingestellt

Während der ADAC seine Kunden bereits informiert hat, schweigt Amazon Deutschland noch zum Ende der Kooperation mit der Landesbank Berlin.

Kooperation: Amazon Kreditkarte mit Landesbank Berlin wird eingestellt
Artikel
  1. Onlineshopping: Hermes erwartet mehr Paketsendungen bis Weihnachten
    Onlineshopping
    Hermes erwartet mehr Paketsendungen bis Weihnachten

    Der Logistikdienstleister Hermes geht von einer Steigerung zum Vorjahr aus. Durch den Onlineshopping-Boom braucht der Konzern mehr Zusteller und Fahrzeuge.

  2. Linux: Vom einfachen Speicherfehler zur Systemübernahme
    Linux
    Vom einfachen Speicherfehler zur Systemübernahme

    Ein häufig vorkommender Fehler in C-Code hat einen Google-Entwickler motiviert, über Gegenmaßnahmen nachzudenken.

  3. Nintendo Switch: Deutscher Jugendschutz sperrt Dying Light in Australien
    Nintendo Switch
    Deutscher Jugendschutz sperrt Dying Light in Australien

    Das frisch für die Switch veröffentlichte Dying Light ist in Europa und in Australien nicht erhältlich - wegen des deutschen Jugendschutzes.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • HP Herbst Sale bei NBB: Bis zu 500€ Rabatt auf Gaming-Notebooks, Monitore uvm. • Samsung-Monitore (u. a. 24" FHD 144Hz 169€) • Bosch Professional zu Bestpreisen • Sandisk Ultra 3D 500GB 47,99€ • Google Pixel 6 vorbestellbar ab 649€ + Bose Headphones als Geschenk [Werbung]
    •  /