• IT-Karriere:
  • Services:

Neuronale Netzwerke: KI-Forscher erwecken die Mona Lisa zum Leben

In Kooperation mit Samsung stellen Forscher eine Software vor, die mit möglichst wenigen Quellbildern Gesichter auf andere Gesichter in Videoclips übertragen kann. Das funktioniert bei echten Menschen und Gemälden - und lässt etwa die Mona Lisa zu einer sprechenden Person werden.

Artikel veröffentlicht am ,
Die Mona Lisa kann durch Software sprechen.
Die Mona Lisa kann durch Software sprechen. (Bild: Egor Zakharov)

Forscher haben ein neuronales Netzwerk vorgestellt, das Gesichter und Gesichtsbewegungen auf andere Personen in Videoclips übertragen kann. In einer Präsentation erweckte das Team so beispielsweise Leonardo da Vincis Mona Lisa zum Leben. Interessant: Das eigentlich zweidimensionale Bild wird mit der Software in verschiedenen Perspektiven gerendert. Zusätzliche Informationen erstellt das System aus eigenen Lerndaten heraus. Veröffentlicht und dokumentiert wird das Projekt auf arxiv.org (PDF) von Samsung AI Center.

Stellenmarkt
  1. Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB, Ettlingen
  2. SIZ GmbH, Bonn

Obwohl die Idee an sich nicht neu ist, wie das Einmannprojekt Deep Fakes beweist, ist der Vorteil des fertig trainierten Modells, dass mit Hilfe von möglichst wenigen Beispielbildern Ergebnisse erzeugt werden können. In der Youtube-Präsentation funktioniert das bereits bei einem einzelnen Bild, auch wenn weitere Daten - im Beispiel 16 Motive derselben Person - das Ergebnis sichtbar verbessern.

Training braucht viele Daten

Das Modell erstellt dabei ein abstraktes Modell des Gesichtes, das die für Menschen wichtigsten Elemente enthält. Dazu zählen die generelle Gesichtsform, der Mund, die Nase, die Augen und Augenbrauenbewegungen. Auf Basis dieser wenigen Daten wird eine Gesichtstextur auf ein anderes Gesicht gerendert. Das Ergebnis sieht bereits recht überzeugend aus, was besonders auf Kunstwerke wie die erwähnte Mona Lisa zutrifft. Einige Verzerrungen und Artefakte fallen dort nicht ganz so stark auf, wie es noch bei Aufnahmen von echten Personen der Fall ist.

Das Adversial Neural Network besteht aus zwei Systemen. Das eine prüft die Ergebnisse des anderen auf Authentizität und gibt eine Einschätzung und Feedback zurück. Basierend darauf passt das generierende Modell seine Parameter an, bis das Ergebnis für das prüfende System überzeugend ist. In dieser Lernphase reichen allerdings keine acht Beispielbilder aus. Stattdessen nutzen die Forscher den Videodatensatz Voxceleb2 mit 6.000 verschiedenen Sprechern, die mehr als eine Millionen Samples stellen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. (-10%) 53,99€
  2. (-15%) 16,99€
  3. (-10%) 35,99€

Salzbretzel 26. Mai 2019

Zu den Warum - stell dir vor das du eine tolle Filmidee hast. Du schreibst das Drehbuch...

gfa-g 25. Mai 2019

Sieht sehr unnatürlich aus. Man erkennt die anderen Gesichter die für die...

RedRanger 24. Mai 2019

Für mich sieht es aus, als hätte die KI nicht so ganz die Person vom Hintergrund trennen...


Folgen Sie uns
       


Digitale Assistenten singen Weihnachtslieder (ohne Signalworte)

Wir haben Siri, den Google Assistant und Alexa aufgefordert, uns zu Weihnachten etwas vorzusingen.

Digitale Assistenten singen Weihnachtslieder (ohne Signalworte) Video aufrufen
Support-Ende von Windows 7: Für wen Linux eine Alternative zu Windows 10 ist
Support-Ende von Windows 7
Für wen Linux eine Alternative zu Windows 10 ist

Windows 7 erreicht sein Lebensende (End of Life) und wird von Microsoft künftig nicht mehr mit Updates versorgt. Lohnt sich ein Umstieg auf Linux statt auf Windows 10? Wir finden: in den meisten Fällen schon.
Von Martin Loschwitz

  1. Lutris EA verbannt offenbar Linux-Gamer aus Battlefield 5
  2. Linux-Rechner System 76 will eigene Laptops bauen
  3. Grafiktreiber Nvidia will weiter einheitliches Speicher-API für Linux

IT-Gehälter: Je nach Branche bis zu 1.000 Euro mehr
IT-Gehälter
Je nach Branche bis zu 1.000 Euro mehr

Wechselt ein ITler in eine andere Branche, sind auf dem gleichen Posten bis zu 1.000 Euro pro Monat mehr drin. Welche Industrien die höchsten und welche die niedrigsten Gehälter zahlen: Wir haben die Antworten auf diese Fragen - auch darauf, wie sich die Einkommen 2020 entwickeln werden.
Von Peter Ilg

  1. Softwareentwickler Der Fachkräftemangel zeigt sich nicht an den Gehältern

Elektroautos in Tiefgaragen: Was tun, wenn's brennt?
Elektroautos in Tiefgaragen
Was tun, wenn's brennt?

Was kann passieren, wenn Elektroautos in einer Tiefgarage brennen? Während Brandschutzexperten dringend mehr Forschung fordern und ein Parkverbot nicht ausschließen, wollen die Bundesländer die Garagenverordnung verschärfen.
Eine Analyse von Friedhelm Greis

  1. Mercedes E-Econic Daimler elektrifiziert den Müllwagen
  2. Umweltprämie für Elektroautos Regierung verzögert Prüfung durch EU-Kommission
  3. Intransparente Preise Verbraucherschützer mahnen Ladenetzbetreiber New Motion ab

    •  /