Film-Synchronisation: KI passt Lippenbewegungen an andere Sprachen an

Bei synchronisierten Filmen passen die Lippenbewegungen oft nur mit Fantasie zum gesprochenen Text - KI soll das in Zukunft ändern.

Artikel veröffentlicht am ,
Jack Nicholson als Colonel Nathan Jessup spricht dank Flawless unter anderem Französisch.
Jack Nicholson als Colonel Nathan Jessup spricht dank Flawless unter anderem Französisch. (Bild: Liaison)

Das britische Unternehmen Flawless entwickelt eine auf Deepfake basierende Technologie, mit deren Hilfe synchronisierte Filme realistischer aussehen sollen. Das vom Regisseur Scott Mann mitgegründete Unternehmen will mit Hilfe von künstlicher Intelligenz die Lippenbewegungen von Schauspielern im Nachhinein anpassen, damit sie der synchronisierten Sprache entsprechen.

Stellenmarkt
  1. IT-Architektin (m/w/d)
    Techniker Krankenkasse, Hamburg
  2. Entwickler Elektronik und Kommunikationstechnik (IoT) (m/w/d)
    Gratz Engineering GmbH, Stuttgart
Detailsuche

Damit soll verhindert werden, dass der synchronisierte Text nicht zu den Lippenbewegungen passt, wie es trotz Anpassungen an das Drehbuch häufiger der Fall ist. Wie Wired.com berichtet, ist dieser Unterschied Scott Mann zufolge für Regisseure mitunter schwer zu ertragen.

Die von Flawless verwendete Technologie ähnelt der von Deepfakes, nur dass nicht das ganze Gesicht einer anderen Person verwendet wird. Stattdessen werden die Lippenbewegungen und weitere, mit dem Sprechen zusammenhängende Gesichtsbewegungen der ursprünglichen Schauspieler mit denen von einem zweiten Schauspieler vermischt. Dieser spricht den synchronisierten Text in einer anderen Sprache.

Jack Nicholson spricht Französisch, Tom Hanks und Robert De Niro Deutsch

Das Ergebnis zeigt Flawless in einem Showreel-Video auf seiner Homepage, das Szenen aus bekannten Filmen wie "Eine Frage der Ehre" und "Forrest Gump" zeigt. Dabei sprechen die Schauspieler verschiedene Sprachen, unter anderem Französisch, Japanisch und Deutsch. Die Lippenbewegungen folgen den jeweiligen Sprachen recht genau.

Wie bei anderen KI-Verfahren ist aber durchaus zu erkennen, dass etwas "nicht stimmt". Die Bearbeitungen wirken zwar sehr realistisch, bei einigen der Beispiele erscheinen die Lippenbewegungen aber trotzdem nicht so, wie man sie von einem Menschen erwarten würde. Mann zufolge soll die Technologie in den kommenden Jahren aber soweit verbessert werden, dass sie nicht mehr auffallen soll.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Georg T.
Wieder Haft gegen Nichtzahler der Rundfunkgebühr

Georg T. sitzt seit 109 Tagen in Haft. Grund dafür sind 1.827 Euro Schulden für die Rundfunkgebühr - seine Haft kostet rund 18.000 Euro.

Georg T.: Wieder Haft gegen Nichtzahler der Rundfunkgebühr
Artikel
  1. MIG: Scheuers Funkloch GmbH hat erst zwei Stellen besetzt
    MIG
    Scheuers Funkloch GmbH hat erst zwei Stellen besetzt

    Der Bundesverkehrsminister scheint kein Personal für die Mobilfunkinfrastrukturgesellschaft zu finden.

  2. Square Enix: Action-Adventure mit den Guardians of the Galaxy angekündigt
    Square Enix
    Action-Adventure mit den Guardians of the Galaxy angekündigt

    E3 2021 Erinnert an Mass Effect, aber mit Humor und Groot: Square Enix will noch 2021 das Solo-Abenteuer Guardians of the Galaxy veröffentlichen.

  3. Bethesda: Starfield mit Rätseln und Doom Eternal mit 120 fps
    Bethesda
    Starfield mit Rätseln und Doom Eternal mit 120 fps

    E3 2021 Der Teaser von Starfield lädt zum Knoblen ein, Redfall bietet Blutsauger - und Doom Eternal erhält das Next-Gen-Grafikupdate.

Flexy 25. Mai 2021 / Themenstart

Sowohl bei Alice als auch bei Fear and Loathing als auch bei Dead Man und bei den...

Lapje 24. Mai 2021 / Themenstart

Mag sein, dann wäre die Serie hier aber nicht so ein Erfolg geworden. Denn ansonsten ist...

Lapje 24. Mai 2021 / Themenstart

Super. Schön das wir das jetzt wissen. Rettet sicherlich unser Wochenende. Sorry, aber...

robinx999 24. Mai 2021 / Themenstart

Naja Manipulationen wird man vermutlich erkennen können mit aufwendigen Analysen, aber...

Computer_Science 24. Mai 2021 / Themenstart

sorry, das steckt noch tief im uncanny valley ... man sieht es auf Kilometer

Kommentieren


Folgen Sie uns
       


Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • Alternate (u. a. MSI Optix 27" WQHD/165 Hz 315,99€ und Fractal Design Vector RS Blackout Dark TG 116,89€) • Corsair Hydro H80i V2 RGB 73,50€ • Apple iPad 10.2 389€ • Razer Book 13 1.158,13€ • Fractal Design Define S2 Black 99,90€ • Intel i9-11900 379€ • EPOS Sennheiser GSP 600 149€ [Werbung]
    •  /