Abo
  • IT-Karriere:

Neuronale Netzwerke: KI-Forscher erwecken die Mona Lisa zum Leben

In Kooperation mit Samsung stellen Forscher eine Software vor, die mit möglichst wenigen Quellbildern Gesichter auf andere Gesichter in Videoclips übertragen kann. Das funktioniert bei echten Menschen und Gemälden - und lässt etwa die Mona Lisa zu einer sprechenden Person werden.

Artikel veröffentlicht am ,
Die Mona Lisa kann durch Software sprechen.
Die Mona Lisa kann durch Software sprechen. (Bild: Egor Zakharov)

Forscher haben ein neuronales Netzwerk vorgestellt, das Gesichter und Gesichtsbewegungen auf andere Personen in Videoclips übertragen kann. In einer Präsentation erweckte das Team so beispielsweise Leonardo da Vincis Mona Lisa zum Leben. Interessant: Das eigentlich zweidimensionale Bild wird mit der Software in verschiedenen Perspektiven gerendert. Zusätzliche Informationen erstellt das System aus eigenen Lerndaten heraus. Veröffentlicht und dokumentiert wird das Projekt auf arxiv.org (PDF) von Samsung AI Center.

Stellenmarkt
  1. RICHARD WOLF GMBH, Knittlingen
  2. Rail Power Systems GmbH, München

Obwohl die Idee an sich nicht neu ist, wie das Einmannprojekt Deepfakes beweist, ist der Vorteil des fertig trainierten Modells, dass mithilfe von möglichst wenigen Beispielbildern Ergebnisse erzeugt werden können. In der Youtube-Präsentation funktioniert das bereits bei einem einzelnen Bild, auch wenn weitere Daten - im Beispiel 16 Motive derselben Person - das Ergebnis sichtbar verbessern.

Training braucht viele Daten

Das Modell erstellt dabei ein abstraktes Modell des Gesichtes, das die für Menschen wichtigsten Elemente enthält. Dazu zählen die generelle Gesichtsform, der Mund, die Nase, die Augen und Augenbrauenbewegungen. Auf Basis dieser wenigen Daten wird eine Gesichtstextur auf ein anderes Gesicht gerendert. Das Ergebnis sieht bereits recht überzeugend aus, was besonders auf Kunstwerke wie die erwähnte Mona Lisa zutrifft. Einige Verzerrungen und Artefakte fallen dort nicht ganz so stark auf, wie es noch bei Aufnahmen von echten Personen der Fall ist.

Das Adversial Neural Network besteht aus zwei Systemen. Das eine prüft die Ergebnisse des anderen auf Authentizität und gibt eine Einschätzung und Feedback zurück. Basierend darauf passt das generierende Modell seine Parameter an, bis das Ergebnis für das prüfende System überzeugend ist. In dieser Lernphase reichen allerdings keine acht Beispielbilder aus. Stattdessen nutzen die Forscher den Videodatensatz Voxceleb2 mit 6.000 verschiedenen Sprechern, die mehr als eine Millionen Samples stellen.



Anzeige
Hardware-Angebote
  1. 289€
  2. 294€

Salzbretzel 26. Mai 2019 / Themenstart

Zu den Warum - stell dir vor das du eine tolle Filmidee hast. Du schreibst das Drehbuch...

gfa-g 25. Mai 2019 / Themenstart

Sieht sehr unnatürlich aus. Man erkennt die anderen Gesichter die für die...

RedRanger 24. Mai 2019 / Themenstart

Für mich sieht es aus, als hätte die KI nicht so ganz die Person vom Hintergrund trennen...

Kommentieren


Folgen Sie uns
       


AMD stellt Navi-Grafikkarten vor

Die neuen GPUs sollen deutlich effizienter und leistungsstärker sein und ab Juli 2019 verfügbar sein.

AMD stellt Navi-Grafikkarten vor Video aufrufen
Doom Eternal angespielt: Die nächste Ballerorgie von id macht uns fix und fertig
Doom Eternal angespielt
Die nächste Ballerorgie von id macht uns fix und fertig

E3 2019 Extrem schnelle Action plus taktische Entscheidungen, dazu geniale Grafik und eine düstere Atmosphäre: Doom Eternal hat gegenüber dem erstklassigen Vorgänger zumindest beim Anspielen noch deutlich zugelegt.

  1. Sigil John Romero setzt Doom fort

Wolfenstein Youngblood angespielt: Warum wurden diese dämlichen Mädchen nicht aufgehalten!?
Wolfenstein Youngblood angespielt
"Warum wurden diese dämlichen Mädchen nicht aufgehalten!?"

E3 2019 Der erste Kill ist der schwerste: In Wolfenstein Youngblood kämpfen die beiden Töchter von B.J. Blazkowicz gegen Nazis. Golem.de hat sich mit Jess und Soph durch einen Zeppelin über dem belagerten Paris gekämpft.
Von Peter Steinlechner


    Mobile-Games-Auslese: Magischer Dieb trifft mogelnden Doktor
    Mobile-Games-Auslese
    Magischer Dieb trifft mogelnden Doktor

    Ein Dieb mit Dolch in Daggerhood, dazu ein (historisch verbürgter) Arzt in Astrologaster sowie wunderschön aufbereitetes Free-to-Play-Mittelalter in Marginalia Hero: Golem.de stellt die spannendsten neuen Mobile Games vor.
    Von Rainer Sigl

    1. Hyper Casual Games 30 Sekunden spielen, 30 Sekunden Werbung
    2. Mobile-Games-Auslese Rollenspiel-Frühling mit leichten Schusswechseln
    3. Gaming Apple Arcade wird Spiele-Flatrate für iOS und MacOS

      •  /