• IT-Karriere:
  • Services:

KI: Software generiert 3D-Modelle aus 2D-Bildern

Das Forscherteam arbeitetet seit einigen Jahren an Pifu und Pifu HD. Die KI kann sowohl Fotos als auch Videos in 3D-Figuren umwandeln.

Artikel veröffentlicht am ,
Pifu generiert 3D-Modelle aus 2D-Bildern.
Pifu generiert 3D-Modelle aus 2D-Bildern. (Bild: Shunsuke Saito)

Ein Forscherteam der Univesity of Southern California und der beiden Facebook-Abteilungen Reality Labs und AI Research haben ein neuronales Netzwerk entwickelt, das aus 2D-Bildern 3D-Figuren erstellen kann. Bisher wurde die Pixel-Aligned Implicit Function HD (Pifu HD) für Menschen mit Kleidung trainiert. Das System soll akkurat neben Gesichtszügen wie Mund und Nase auch Falten und Textur von Kleidungsstücken in ein entsprechendes 3D-Modell konvertieren können.

Stellenmarkt
  1. ADAC e.V., München
  2. Bremer Spirituosen Contor GmbH, Bremen

Die überarbeitete Version Pifu HD baut auf dem im vergangenen Jahr vorgestellten Pifu auf und rendert Bilder in einer höheren 1k-Auflösung statt nur in etwa 128 x 128 Pixeln. Der Vorteil: Durch mehr Pixelinformationen können kleinere Details für ein 3D-Modell übertragen werden - etwa Falten und Fingerpositionen. Der Wissenschaftler Shunsuke Saito stellt die Arbeit und dessen Vorgänger Pifu in zwei Videos vor. Auch existiert ein wissenschaftliches Papier mit detaillierten Infos dazu.

Deep-Fashion-Datensatz als Quelle

Trainiert wird das Modell anhand von 2D-Bildern, die als Referenzpunkte gelten. Hier wurde der Deep-Fashion-Datensatz genutzt, der männliche und weibliche Fotomodelle in diversen Posen und mit verschiedenen Kleidungsstücken enthält. Ähnlich wie bei medizinischen MRT-Abbildungen werden dabei von jeder Tiefenebene Querschnitte generiert, die zum Schluss zusammengesetzt eine dreidimensionale Figur ergeben. Ein Bild-Encoder berechnet dabei zu jedem 2D-Pixel die jeweilige 3D-Koordinate Z und schätzt, ob sich diese innerhalb oder außerhalb des jeweils betrachteten Bildquerschnitts befindet. Diese Mengen nennt das Forscherteam Occupancy Fields.

Pifu HD lässt einen grobauflösenden und einen feinauflösenden Bildencoder parallel laufen. Zweiterer nutzt die vom ursprünglichen Pifu, welches ausschließlich auf einen grob auflösenden Bildencoder setzt, generierten 3D-Informationen und erstellt daraus ein eigenes 3D-Modell. Dieses ist durch die höhere Auflösung detaillierter. Die Vorgängerversion konnte zudem auch RGB-Werte von Bildern erkennen, um daraus Texturen für die 3D-Modelle zu erstellen. Pifu HD gibt derzeit noch untexturierte Modelle aus.

Beide Modelle können dabei auch Videoquellen verwenden und diese in 3D-Modelle in Echtzeit und Bild für Bild umwandeln. In einer Videodemonstration funktioniert das schon ganz gut, wenn auch einige Artefakte zu erkennen sind - vor allem an verdeckten Stellen. Deshalb kann Pifu aus mehreren Bildern derselben Referenzperson mit verschiedenen Betrachtungswinkeln ein wesentlich detaillierteres 3D-Modell generieren.

Gerade in Bewegung ist das System aber noch nicht ausgereift und zudem nicht hochauflösend genug, um produktiv eingesetzt zu werden. Der Schritt zwischen den beiden Pifu-Generationen zeigt aber, dass sich das schnell ändern kann.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Hardware-Angebote

Poison Nuke 22. Jun 2020 / Themenstart

Die Arbeit wurde unter CC-BY-NC veröffentlicht. D.h. ausschließlich nur private Nutzer...

Kommentieren


Folgen Sie uns
       


Drohnenflug am Strand mit Google Earth Studio - Tutorial

Wir zeigen im kurzen Tutorial, wie man in Earth Studio eine einfache Animation erstellt.

Drohnenflug am Strand mit Google Earth Studio - Tutorial Video aufrufen
Kotlin, Docker, Kubernetes: Weitere Online-Workshops für ITler
Kotlin, Docker, Kubernetes
Weitere Online-Workshops für ITler

Wer sich praktisch weiterbilden will, sollte erneut einen Blick auf das Angebot der Golem Akademie werfen. Online-Workshops zu den Themen Kotlin und Docker sind hinzugekommen, Kubernetes und Python werden wiederholt.

  1. React, Data Science, Agilität Neue Workshops der Golem Akademie online
  2. In eigener Sache Golem Akademie hilft beim Einstieg in Kubernetes
  3. Golem Akademie Data Science mit Python für Entwickler und Analysten

PC-Hardware: Das kann DDR5-Arbeitsspeicher
PC-Hardware
Das kann DDR5-Arbeitsspeicher

Vierfache Kapazität, doppelte Geschwindigkeit: Ein Überblick zum DDR5-Speicher für Server und Desktop-PCs.
Ein Bericht von Marc Sauter


    Complex Event Processing: Informationen fast in Echtzeit auswerten
    Complex Event Processing
    Informationen fast in Echtzeit auswerten

    Ob autonomes Fahren, Aktienhandel oder Onlineshopping: Soll das Ergebnis gut sein, müssen Informationen quasi in Echtzeit ausgewertet werden. Eine gute Lösung dafür: CEP.
    Von Boris Mayer

    1. Musik Software generiert Nirvana-Songtexte
    2. mmap Codeanalyse mit sechs Zeilen Bash
    3. Digitale Kultur Demoszene wird finnisches Kulturerbe

      •  /