Gesichtserkennung: Software überträgt Mimik von einem Gesicht auf ein anderes

Mach doch mal das gleiche Gesicht wie ich! Kein Problem für eine Software, die deutsche und amerikanische Forscher entwickelt haben. Sie überträgt einfach den Ausdruck eines Gesichts auf ein anderes.

Artikel veröffentlicht am 23. Oktober 2015, 16:26 Uhr, Werner Pluta

Mimikübertragung: Zähne oder Bart werden ergänzt. (Bild: Matthias Nießner/Stanford University)

Wer fotografiert wird, kennt diese Aufforderung: "Lach doch mal!" In Zukunft kann der Fotograf für den Porträtierten lächeln. Eine Software lässt sein Lächeln auf dem anderen Gesicht erstrahlen - zumindest auf dem Bildschirm.

Möglich macht das eine Software, die Forscher der Universitäten von Erlangen-Nürnberg und Stanford und des Max-Planck-Instituts für Informatik in Saarbrücken entwickelt haben. Sie analysiert die Mimik eines Gesichts und überträgt sie auf ein anderes.

Gesichter werden mit Kinect aufgenommen

Beide Gesichter werden mit einer handelsüblichen Tiefenkamera, etwa Microsofts Kinect, aufgenommen und vermessen. Das System erfasst die Bewegungen im Gesicht, die Veränderung der Hautfarbe durch den veränderten Lichteinfall, Lichtreflexe sowie Schattenwurf. Für die Übertragung einer Miene auf das andere Gesicht werden die Unterschiede der beiden Gesichter berechnet und dann das Zielgesicht so modifiziert, dass es den gleichen Ausdruck zeigt wie das Ausgangsgesicht.

Das geschieht in Echtzeit, zeigen die Forscher in einem Video: Zwei Probanden sitzen vor einer Kamera, ihre beiden Gesichter erscheinen auf jeweils einem Bildschirm. Während der eine Proband ausdruckslos dreinschaut, verzieht der andere sein Gesicht in verschiedenen Mienen. Obwohl der erste seinen realen Gesichtsausdruck nicht verändert, zieht sein Gesicht auf dem Bildschirm die gleichen Grimassen wie der andere Proband.

Mann zieht Frauenmiene und umgekehrt

Das funktioniert auch, wenn beide Probanden unterschiedlichen Geschlechts sind oder ihre Gesichter sehr verschiedene Form haben - also etwa der eine ein breites Gesicht hat und der andere ein schmales. Selbst unterschiedliche Lichtsituationen bringen das System nicht aus dem Tritt: Die Software erkennt und überträgt Gesichtsausdrücke auch dann, wenn beide Gesichter sehr unterschiedlich angeleuchtet werden.

Verzieht der Zielproband sein Gesicht ebenfalls, mischt die Software beide Mimiken - etwa: Die Ausgangsperson redet, die zweite schweigt, rollt aber dafür mit den Augen. Das System bearbeitet Proband zwei so, dass er auf dem Bildschirm redet und mit den Augen rollt. Öffnet der Ausgangsproband beim Sprechen den Mund, während der andere seinen geschlossen hat, ergänzt das System im Zielgesicht die dann sichtbaren Zähne. Auch andere Merkmale wie etwa ein Bart lassen sich ergänzen.

Die Vorlage muss 3D sein

Um eine Übertragung von Gesichtsausdrücken zu ermöglichen, müssen von beiden Personen Aufnahmen mit einer Tiefenkamera vorliegen. Die Animation einer zweidimensionalen Vorlage, also eines Fotos oder einer Zeichnung, ist mit dieser Software nicht möglich.

Die Wissenschaftler um Justus Thies wollen ihre Software in Kürze auf der Siggraph Asia vorstellen. Die Konferenz findet vom 2. bis 5. November 2015 in Kobe in Japan statt.