Film-Synchronisation: KI passt Lippenbewegungen an andere Sprachen an

Bei synchronisierten Filmen passen die Lippenbewegungen oft nur mit Fantasie zum gesprochenen Text - KI soll das in Zukunft ändern.

Artikel veröffentlicht am ,
Jack Nicholson als Colonel Nathan Jessup spricht dank Flawless unter anderem französisch.
Jack Nicholson als Colonel Nathan Jessup spricht dank Flawless unter anderem französisch. (Bild: Liaison)

Das britische Unternehmen Flawless entwickelt eine auf Deep Fake basierende Technologie, mit deren Hilfe synchronisierte Filme realistischer aussehen sollen. Das vom Regisseur Scott Mann mitgegründete Unternehmen will mit Hilfe von künstlicher Intelligenz die Lippenbewegungen von Schauspielern im Nachhinein anpassen, damit sie der synchronisierten Sprache entsprechen.

Stellenmarkt
  1. Referent Digitalisierung und Prozessoptimierung (m/w/d) Versicherungen
    Deutsche Vermögensberatung AG, Frankfurt am Main
  2. Data Architect & Engineer (m/w/d) für den Bereich Kranken Analytics
    Allianz Private Krankenversicherungs-AG, München Unterföhring
Detailsuche

Damit soll verhindert werden, dass der synchronisierte Text nicht zu den Lippenbewegungen passt, wie es trotz Anpassungen an das Drehbuch häufiger der Fall ist. Wie Wired.com berichtet, ist dieser Unterschied Scott Mann zufolge für Regisseure mitunter schwer zu ertragen.

Die von Flawless verwendete Technologie ähnelt der von Deep Fakes, nur dass nicht das ganze Gesicht einer anderen Person verwendet wird. Stattdessen werden die Lippenbewegungen und weitere, mit dem Sprechen zusammenhängende Gesichtsbewegungen der ursprünglichen Schauspieler mit denen von einem zweiten Schauspieler vermischt. Dieser spricht den synchronisierten Text in einer anderen Sprache.

Jack Nicholson spricht französisch, Tom Hanks und Robert De Niro deutsch

Das Ergebnis zeigt Flawless in einem Showreel-Video auf seiner Homepage, das Szenen aus bekannten Filmen wie "Eine Frage der Ehre" und "Forrest Gump" zeigt. Dabei sprechen die Schauspieler verschiedene Sprachen, unter anderem Französisch, Japanisch und Deutsch. Die Lippenbewegungen folgen den jeweiligen Sprachen recht genau.

Wie bei anderen KI-Verfahren ist aber durchaus zu erkennen, dass etwas "nicht stimmt". Die Bearbeitungen wirken zwar sehr realistisch, bei einigen der Beispiele erscheinen die Lippenbewegungen aber trotzdem nicht so, wie man sie von einem Menschen erwarten würde. Mann zufolge soll die Technologie in den kommenden Jahren aber soweit verbessert werden, dass sie nicht mehr auffallen soll.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Frommer Legal
Große Abmahnwelle wegen Filesharing in Deutschland

Viele Menschen suchen derzeit Hilfe bei einer Anwaltskanzlei, weil sie wegen angeblich illegalem Filesharing abgemahnt wurden.

Frommer Legal: Große Abmahnwelle wegen Filesharing in Deutschland
Artikel
  1. Kriminalität: Dresdnerin wegen Mordauftrag im Darknet angeklagt
    Kriminalität
    Dresdnerin wegen Mordauftrag im Darknet angeklagt

    Eine 41-Jährige aus Dresden ist angeklagt, im Darknet einen Mord in Auftrag gegeben zu haben. Für die Ermordung der neuen Freundin ihres Ex-Mannes soll sie 0,2 Bitcoin geboten haben.

  2. Fernseher zum Bestpreis beim Amazon Prime Day
     
    Fernseher zum Bestpreis beim Amazon Prime Day

    Neben vielen anderen interessanten Produkten gibt es viele hochqualitative Fernseher zu niedrigen Preisen.
    Ausgewählte Angebote des E-Commerce-Teams

  3. Elektroautos: Neue Ladekarten sollen Schwarzladen verhindern
    Elektroautos
    Neue Ladekarten sollen Schwarzladen verhindern

    Das einfache Klonen von Ladekarten soll künftig nicht mehr möglich sein. Doch dazu müssen alle im Umlauf befindlichen Karten ausgetauscht werden.

Flexy 25. Mai 2021 / Themenstart

Sowohl bei Alice als auch bei Fear and Loathing als auch bei Dead Man und bei den...

Lapje 24. Mai 2021 / Themenstart

Mag sein, dann wäre die Serie hier aber nicht so ein Erfolg geworden. Denn ansonsten ist...

Lapje 24. Mai 2021 / Themenstart

Super. Schön das wir das jetzt wissen. Rettet sicherlich unser Wochenende. Sorry, aber...

robinx999 24. Mai 2021 / Themenstart

Naja Manipulationen wird man vermutlich erkennen können mit aufwendigen Analysen, aber...

Computer_Science 24. Mai 2021 / Themenstart

sorry, das steckt noch tief im uncanny valley ... man sieht es auf Kilometer

Kommentieren


Folgen Sie uns
       


Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • Amazon Prime Day nur noch heute • SSD (u. a. Samsung 980 Pro 1TB PCIe 4.0 140,19€) • Gaming-Laptops von Razer & MSI • Crucial 32GB Kit DDR4-4000 269,79€ • 30% auf Warehouse • Primetime bei Saturn (u. a. Switch Lite 166,24€) • Gaming-Chairs • MM Gönn dir Dienstag [Werbung]
    •  /