Computergrafik: US-Forscher modellieren Gesichter in Videos dreidimensional

Prinz Charles wird nachgebaut: US-Forscher rekonstruieren Gesichter aus beliebigen Youtube-Videos. Daraus erzeugen sie eine dreidimensionale Animation, in der sich das Gesicht genau wie das im originalen Video verhält.

Artikel veröffentlicht am ,
Total Moving Face Reconstruction: Einschränkungen durch Schatten oder Lichtreflexionen
Total Moving Face Reconstruction: Einschränkungen durch Schatten oder Lichtreflexionen (Bild: University of Washington)

Aus 2D mach 3D: US-Forscher haben ein Verfahren entwickelt, um aus Videoaufnahmen einer Person eine 3D-Animation zu erzeugen. Dazu bedarf es keiner speziellen Aufnahmetechnik. Vorhandenes Bildmaterial reicht, um das Video digital nachzubilden.

Stellenmarkt
  1. IT Project Architect / Scrum Master (gn)
    Getriebebau NORD GmbH & Co. KG, Bargteheide bei Hamburg
  2. Support-Specialist (m/w/d)
    Allianz Technology SE, Hamburg
Detailsuche

Ausgangsmaterial sind ein Video sowie Fotos einer Person. Supasorn Suwajanakorn, Ira Kemelmacher-Shlizerman und Steven Seitz von der Universität des US-Bundesstaates Washington in Seattle haben sich auf Prominente wie den englischen Thronfolger Prinz Charles, den Schauspieler Arnold Schwarzenegger oder den ehemaligen US-Präsidenten George W. Bush konzentriert, da von ihnen sehr viel Material im Netz zu finden ist.

Öffentlich zugängliches Material

Videos wie Fotos sind nicht eigens dafür aufgenommen worden, sondern stammen aus öffentlich zugänglichen Quellen, wie etwa dem Videoportal Youtube. Ein 3D-Modell des Gesichts ist ebenso wenig nötig wie definierte Bedingungen, etwa bei der Beleuchtung oder der Ausrichtung des Gesichts zur Kamera. Der Abgebildete muss auch nicht per Motion Capturing aufgenommen werden.

Zunächst wird aus mehreren Fotos ein zweidimensionales Basismodell erzeugt, das dann in ein einfaches dreidimensionales Modell überführt wird - die Methode für diese beiden Schritte haben Kemelmacher-Shlizerman und Seitz schon 2011 vorgestellt.

Gleiche Pose, gleiche Mimik

Golem Akademie
  1. IT-Grundschutz-Praktiker mit Zertifikat: Drei-Tage-Workshop
    04.-06.07.2022, Virtuell
  2. Einführung in Unity: virtueller Ein-Tages-Workshop
    21.06.2022, Virtuell
Weitere IT-Trainings

Im dritten Schritt wird die Ausrichtung des Gesichts in einem Videobild bestimmt und das 3D-Basismodell daran angepasst. Als nächstes wird das Basismodell so verändert, dass es den gleichen Gesichtsausdruck zeigt wie die Person in dem jeweiligen Videoframe. Das 3D-Modell ist jetzt so ausgerichtet wie das Bild im Video und zeigt die gleiche Mimik.

Es ist aber immer noch relativ grob. Im fünften und letzten Schritt werden deshalb die Details im Gesicht angepasst, wie Schattierungen, Falten oder die Textur der Haut. Am Ende hat das System aus dem originalen Video eine Animation eines Gesichts erzeugt, die dem Video weitgehend entspricht. Das bedeutet, das künstlich erzeugte Gesicht macht die gleichen Bewegungen und die gleiche Mimik mit wie das Original.

Große Kontraste

Zu große Kontraste können allerdings das Ergebnis verschlechtern: Wenn Teile des Gesichts im tiefen Schatten liegen oder Licht auf der Haut reflektiert, fehlt an der entsprechenden Stelle die Bildinformation, um ein 3D-Modell zu erstellen. Diese Einschränkung dürfte jedoch nicht so gravierend sein, wenn nur einzelne Partien davon betroffen sind.

Die Wissenschaftler aus Seattle haben ihr Verfahren Total Moving Face Reconstruction kürzlich auf der European Conference on Computer Vision (ECCV) in Zürich vorgestellt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


furanku1 25. Sep 2014

Ja, man kann durch die Verwendung mehrerer Bilder mehr Informationen herausquetschen...

artavenue 25. Sep 2014

Ich reagierte nur ausfallend auf deine Art, ausfallend zu werden. Natürlich war das...

Mr. Joe 25. Sep 2014

Ich musst an das hier denken: Enemy of the state - Freeze,Rotate,Zoom,Focus,Enhance...



Aktuell auf der Startseite von Golem.de
LG HU915QE
Laserprojektor erzeugt 90-Zoll-Bild aus 5,6 cm Entfernung

LG hat einen Kurzdistanzprojektor mit Lasertechnik vorgestellt. Der HU915QE erzeugt ein riesiges Bild und steht dabei fast an der Wand.

LG HU915QE: Laserprojektor erzeugt 90-Zoll-Bild aus 5,6 cm Entfernung
Artikel
  1. Snapdragon 8+ Gen1: 4 nm TSMC spart 30 Prozent bei Qualcomm-SoC
    Snapdragon 8+ Gen1
    4 nm TSMC spart 30 Prozent bei Qualcomm-SoC

    Durch den Wechsel des Fertigungsverfahrens ist der Snapdragon 8+ Gen1 deutlich effizienter als der Snapdragon 8 Gen1, selbst bei mehr Takt.

  2. Verkaufsstart des 9-Euro-Tickets: Was Fahrgäste wissen müssen
    Verkaufsstart des 9-Euro-Tickets
    Was Fahrgäste wissen müssen

    Das 9-Euro-Ticket für den ÖPNV ist beschlossene Sache, Verkehrsverbünde und -unternehmen sehen sich auf den Verkaufsstart in diesen Tagen gut vorbereitet. Doch es gibt viele offene Fragen.

  3. LTE-Patent: Ford droht Verkaufs- und Produktionsverbot in Deutschland
    LTE-Patent
    Ford droht Verkaufs- und Produktionsverbot in Deutschland

    Ford fehlen Mobilfunk-Patentlizenzen, weshalb das Landgericht München eine drastische Entscheidung gefällt hat. Autos droht sogar die Vernichtung.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Acer Predator X38S (UWQHD, 175 Hz OC) 1.499€ • MindStar (u. a. AMD Ryzen 7 5700X 268€ und PowerColor RX 6750 XT Red Devil 609€ und RX 6900 XT Red Devil Ultimate 949€) • Alternate (u. a. Cooler Master Caliber R1 159,89€) • SanDisk Portable SSD 1 TB 81€ • Motorola Moto G60s 149€ [Werbung]
    •  /