Film-Synchronisation: KI passt Lippenbewegungen an andere Sprachen an

Bei synchronisierten Filmen passen die Lippenbewegungen oft nur mit Fantasie zum gesprochenen Text - KI soll das in Zukunft ändern.

Artikel veröffentlicht am 23. Mai 2021, 14:08 Uhr, Tobias Költzsch

Jack Nicholson als Colonel Nathan Jessup spricht dank Flawless unter anderem französisch. (Bild: Liaison)

Das britische Unternehmen Flawless entwickelt eine auf Deep Fake basierende Technologie, mit deren Hilfe synchronisierte Filme realistischer aussehen sollen. Das vom Regisseur Scott Mann mitgegründete Unternehmen will mit Hilfe von künstlicher Intelligenz die Lippenbewegungen von Schauspielern im Nachhinein anpassen, damit sie der synchronisierten Sprache entsprechen.

Damit soll verhindert werden, dass der synchronisierte Text nicht zu den Lippenbewegungen passt, wie es trotz Anpassungen an das Drehbuch häufiger der Fall ist. Wie Wired.com berichtet, ist dieser Unterschied Scott Mann zufolge für Regisseure mitunter schwer zu ertragen.

Die von Flawless verwendete Technologie ähnelt der von Deep Fakes, nur dass nicht das ganze Gesicht einer anderen Person verwendet wird. Stattdessen werden die Lippenbewegungen und weitere, mit dem Sprechen zusammenhängende Gesichtsbewegungen der ursprünglichen Schauspieler mit denen von einem zweiten Schauspieler vermischt. Dieser spricht den synchronisierten Text in einer anderen Sprache.

Jack Nicholson spricht französisch, Tom Hanks und Robert De Niro deutsch

Das Ergebnis zeigt Flawless in einem Showreel-Video auf seiner Homepage, das Szenen aus bekannten Filmen wie "Eine Frage der Ehre" und "Forrest Gump" zeigt. Dabei sprechen die Schauspieler verschiedene Sprachen, unter anderem Französisch, Japanisch und Deutsch. Die Lippenbewegungen folgen den jeweiligen Sprachen recht genau.

Wie bei anderen KI-Verfahren ist aber durchaus zu erkennen, dass etwas "nicht stimmt". Die Bearbeitungen wirken zwar sehr realistisch, bei einigen der Beispiele erscheinen die Lippenbewegungen aber trotzdem nicht so, wie man sie von einem Menschen erwarten würde. Mann zufolge soll die Technologie in den kommenden Jahren aber soweit verbessert werden, dass sie nicht mehr auffallen soll.