Film-Synchronisation: KI passt Lippenbewegungen an andere Sprachen an

Bei synchronisierten Filmen passen die Lippenbewegungen oft nur mit Fantasie zum gesprochenen Text - KI soll das in Zukunft ändern.

Artikel veröffentlicht am ,
Jack Nicholson als Colonel Nathan Jessup spricht dank Flawless unter anderem französisch.
Jack Nicholson als Colonel Nathan Jessup spricht dank Flawless unter anderem französisch. (Bild: Liaison)

Das britische Unternehmen Flawless entwickelt eine auf Deep Fake basierende Technologie, mit deren Hilfe synchronisierte Filme realistischer aussehen sollen. Das vom Regisseur Scott Mann mitgegründete Unternehmen will mit Hilfe von künstlicher Intelligenz die Lippenbewegungen von Schauspielern im Nachhinein anpassen, damit sie der synchronisierten Sprache entsprechen.

Stellenmarkt
  1. Engineer*in Client-Virtualisierung
    WSW Wuppertaler Stadtwerke GmbH, Wuppertal
  2. Mitarbeiter SAP-IT-Support - SAP CO/SD/WM / Planung (m/w/d)
    Schoeller Technocell GmbH & Co. KG, Osnabrück
Detailsuche

Damit soll verhindert werden, dass der synchronisierte Text nicht zu den Lippenbewegungen passt, wie es trotz Anpassungen an das Drehbuch häufiger der Fall ist. Wie Wired.com berichtet, ist dieser Unterschied Scott Mann zufolge für Regisseure mitunter schwer zu ertragen.

Die von Flawless verwendete Technologie ähnelt der von Deep Fakes, nur dass nicht das ganze Gesicht einer anderen Person verwendet wird. Stattdessen werden die Lippenbewegungen und weitere, mit dem Sprechen zusammenhängende Gesichtsbewegungen der ursprünglichen Schauspieler mit denen von einem zweiten Schauspieler vermischt. Dieser spricht den synchronisierten Text in einer anderen Sprache.

Jack Nicholson spricht französisch, Tom Hanks und Robert De Niro deutsch

Das Ergebnis zeigt Flawless in einem Showreel-Video auf seiner Homepage, das Szenen aus bekannten Filmen wie "Eine Frage der Ehre" und "Forrest Gump" zeigt. Dabei sprechen die Schauspieler verschiedene Sprachen, unter anderem Französisch, Japanisch und Deutsch. Die Lippenbewegungen folgen den jeweiligen Sprachen recht genau.

Golem Akademie
  1. CEH Certified Ethical Hacker v11: virtueller Fünf-Tage-Workshop
    30.05.-03.06.2022, Virtuell
  2. C++ Programmierung Grundlagen (keine Vorkenntnisse benötigt): virtueller Drei-Tage-Workshop
    01.-03.08.2022, virtuell
Weitere IT-Trainings

Wie bei anderen KI-Verfahren ist aber durchaus zu erkennen, dass etwas "nicht stimmt". Die Bearbeitungen wirken zwar sehr realistisch, bei einigen der Beispiele erscheinen die Lippenbewegungen aber trotzdem nicht so, wie man sie von einem Menschen erwarten würde. Mann zufolge soll die Technologie in den kommenden Jahren aber soweit verbessert werden, dass sie nicht mehr auffallen soll.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Flexy 25. Mai 2021

Sowohl bei Alice als auch bei Fear and Loathing als auch bei Dead Man und bei den...

Lapje 24. Mai 2021

Mag sein, dann wäre die Serie hier aber nicht so ein Erfolg geworden. Denn ansonsten ist...

Lapje 24. Mai 2021

Super. Schön das wir das jetzt wissen. Rettet sicherlich unser Wochenende. Sorry, aber...

robinx999 24. Mai 2021

Naja Manipulationen wird man vermutlich erkennen können mit aufwendigen Analysen, aber...



Aktuell auf der Startseite von Golem.de
Forschung
Blaualge versorgt Computer sechs Monate mit Strom

Ein Forschungsteam hat einen Mikroprozessor sechs Monate ununterbrochen mit Strom versorgt. Die Algen lieferten sogar bei Dunkelheit.

Forschung: Blaualge versorgt Computer sechs Monate mit Strom
Artikel
  1. EC-Karte: Trotz Kartensperre können Diebe stundenlang Geld abheben
    EC-Karte
    Trotz Kartensperre können Diebe stundenlang Geld abheben

    Eine Sperre der Girocard wird nicht immer sofort aktiv. Verbraucher können sich bereits im Vorfeld schützen.

  2. Swisscom-Chef: Vermasselt habe ich nichts
    Swisscom-Chef
    "Vermasselt habe ich nichts"

    Urs Schaeppi gibt den Chefposten bei Swisscom auf. Sein Rückblick auf neun Jahre Konzernführung fällt ungewöhnlich offen aus.

  3. EV Driver Survey: Elektroautos bei IT-Experten besonders beliebt
    EV Driver Survey
    Elektroautos bei IT-Experten besonders beliebt

    Fahrerlebnis und Technik sind für Fahrer von Elektroautos der größte Zusatznutzen dieser Mobilitätsform. Fast alle würden wieder ein E-Auto kaufen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • LG OLED TV (2021) 77" günstig wie nie: 1.771,60€ statt 4.699€ • Grakas günstig wie nie (u. a. RTX 3080Ti 1.285€) • Samsung SSD 1TB (PS5-komp.) + Heatsink günstig wie nie: 143,99€ • Microsoft Surface günstig wie nie • Jubiläumsdeals MediaMarkt • Bosch Prof. bis 53% günstiger[Werbung]
    •  /