Film-Synchronisation: KI passt Lippenbewegungen an andere Sprachen an

Bei synchronisierten Filmen passen die Lippenbewegungen oft nur mit Fantasie zum gesprochenen Text - KI soll das in Zukunft ändern.

Artikel veröffentlicht am ,
Jack Nicholson als Colonel Nathan Jessup spricht dank Flawless unter anderem französisch.
Jack Nicholson als Colonel Nathan Jessup spricht dank Flawless unter anderem französisch. (Bild: Liaison)

Das britische Unternehmen Flawless entwickelt eine auf Deep Fake basierende Technologie, mit deren Hilfe synchronisierte Filme realistischer aussehen sollen. Das vom Regisseur Scott Mann mitgegründete Unternehmen will mit Hilfe von künstlicher Intelligenz die Lippenbewegungen von Schauspielern im Nachhinein anpassen, damit sie der synchronisierten Sprache entsprechen.

Stellenmarkt
  1. Fachinformatiker Anwendungssysteme (m/w/d)
    net services GmbH & Co. KG, Flensburg
  2. Referent*in (m/w/d) Digitale Leistungserfassung
    Universitätsmedizin der Johannes Gutenberg-Universität Mainz, Mainz
Detailsuche

Damit soll verhindert werden, dass der synchronisierte Text nicht zu den Lippenbewegungen passt, wie es trotz Anpassungen an das Drehbuch häufiger der Fall ist. Wie Wired.com berichtet, ist dieser Unterschied Scott Mann zufolge für Regisseure mitunter schwer zu ertragen.

Die von Flawless verwendete Technologie ähnelt der von Deep Fakes, nur dass nicht das ganze Gesicht einer anderen Person verwendet wird. Stattdessen werden die Lippenbewegungen und weitere, mit dem Sprechen zusammenhängende Gesichtsbewegungen der ursprünglichen Schauspieler mit denen von einem zweiten Schauspieler vermischt. Dieser spricht den synchronisierten Text in einer anderen Sprache.

Jack Nicholson spricht französisch, Tom Hanks und Robert De Niro deutsch

Das Ergebnis zeigt Flawless in einem Showreel-Video auf seiner Homepage, das Szenen aus bekannten Filmen wie "Eine Frage der Ehre" und "Forrest Gump" zeigt. Dabei sprechen die Schauspieler verschiedene Sprachen, unter anderem Französisch, Japanisch und Deutsch. Die Lippenbewegungen folgen den jeweiligen Sprachen recht genau.

Golem Akademie
  1. IT-Fachseminare der Golem Akademie
    Live-Workshops zu Schlüsselqualifikationen
  2. 1:1-Videocoaching mit Golem Shifoo
    Berufliche Herausforderungen meistern
  3. Online-Sprachkurse mit Golem & Gymglish
    Kurze Lektionen, die funktionieren
Weitere IT-Trainings

Wie bei anderen KI-Verfahren ist aber durchaus zu erkennen, dass etwas "nicht stimmt". Die Bearbeitungen wirken zwar sehr realistisch, bei einigen der Beispiele erscheinen die Lippenbewegungen aber trotzdem nicht so, wie man sie von einem Menschen erwarten würde. Mann zufolge soll die Technologie in den kommenden Jahren aber soweit verbessert werden, dass sie nicht mehr auffallen soll.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Flexy 25. Mai 2021

Sowohl bei Alice als auch bei Fear and Loathing als auch bei Dead Man und bei den...

Lapje 24. Mai 2021

Mag sein, dann wäre die Serie hier aber nicht so ein Erfolg geworden. Denn ansonsten ist...

Lapje 24. Mai 2021

Super. Schön das wir das jetzt wissen. Rettet sicherlich unser Wochenende. Sorry, aber...

robinx999 24. Mai 2021

Naja Manipulationen wird man vermutlich erkennen können mit aufwendigen Analysen, aber...

Computer_Science 24. Mai 2021

sorry, das steckt noch tief im uncanny valley ... man sieht es auf Kilometer



Aktuell auf der Startseite von Golem.de
Bundestagswahl 2021
Die Parteien im Datenschutz-Check

Gesagt, getan? Wir haben geprüft, was CDU, SPD, Grüne, FDP, Linke und AfD zum Datenschutz fordern - und was sie selbst auf ihren Webseiten umsetzen.
Eine Analyse von Christiane Schulzki-Haddouti

Bundestagswahl 2021: Die Parteien im Datenschutz-Check
Artikel
  1. ARM: Apples M1 bekommt ausführliche Reverse-Engineering-Doku
    ARM
    Apples M1 bekommt ausführliche Reverse-Engineering-Doku

    Wie genau funktioniert Apples M1-Chip? Diese Frage hat ein Entwickler durch ausgiebiges Reverse Engineering versucht zu beantworten.

  2. Kryptowährung: Kampf um Markenrechte an Dogecoin
    Kryptowährung
    Kampf um Markenrechte an Dogecoin

    Die Dogecoin Foundation hatte offenbar vergessen, sich die Markenrechte an der Kryptowährung zu sichern. Jetzt erheben andere Anspruch.

  3. Leserumfrage: Wie wünschst du dir Golem.de?
    Leserumfrage
    Wie wünschst du dir Golem.de?

    Ob du täglich mehrmals Golem.de liest oder ab und zu: Wir sind an deiner Meinung interessiert! Hilf uns, Golem.de noch besser zu machen - die Umfrage dauert weniger als 10 Minuten.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • MM Club-Tage: Bis zu 15% auf TVs, PCs, Monitore uvm.) • Alternate (u. a. Razer Kraken X für Konsole 34,99€) • Xiaomi 11T 5G vorbestellbar 549€ • Saturn-Deals (u. a. Samsung 55" QLED (2021) 849,15€) • Logitech-Aktion: 20%-Rabattgutschein für ASOS • XMG-Notebooks mit 250€ Rabatt [Werbung]
    •  /