Synchronisation: Disney lernt Lippenlesen

"Cheese" formen die Lippen der in die Kamera grinsenden Schauspieler, doch "Käsekuchen" sagen die Synchronsprecher: Solche Ungereimtheiten bei der Synchronisation können nerven. Mit einem System zum Lippenlesen will Disney das verbessern.

Artikel veröffentlicht am ,
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

"Verpiss Dich", sagt der Hauptdarsteller des ausländischen Films. Doch seine Lippen formen ganz andere Laute - "Fuck off" etwa. Eine solche Synchronisation kann dem Zuschauer das Filmvergnügen schon deutlich schmälern. Forscher von Disney Research haben ein Verfahren entwickelt, das eine bessere Synchronisation ermöglichen soll.

Stellenmarkt
  1. Inhouse ERP-Berater und Datenbank-Administrator (m/w/d)
    AWB Abfallwirtschaftsbetriebe Köln GmbH, Köln
  2. Senior Softwareentwickler (m/w/d) Embedded
    Apex Tool Holding Germany GmbH & Co. KG, Westhausen, Raum Süddeutschland (Home-Office)
Detailsuche

Das Verfahren basiert auf einer dynamischen Analyse von Mundbildern - im Englischen Viseme genannt, in Anlehnung an Phonem. Dabei werden die Lippenbewegungen eines Sprechers während einer Äußerung aufgezeichnet und ausgewertet. Für jede Abfolge von Mundbewegungen wird eine grafische Darstellung möglicher Phoneme erzeugt, die zu den Mundbewegungen passen.

Eine Mundbewegung passt zu vielen Worten

Die Forscher um Sarah Taylor fanden heraus, dass zu einer Äußerung viele verschiedene Mundbewegungen passten: Sagt eine Person "clean swatches", könnte sie mit den gleichen Mundbewegungen auch "likes swats" oder "then swine" sagen. Nicht einmal die Zahl der Silben müsse übereinstimmen: Auch "need no pots" passt.

Die Auswertung der dynamischen Viseme produziere deutlich mehr Wortfolgen als die herkömmlichen Verfahren, die bestimmte Lippenbewegungen statisch bestimmten Lauten zuordnen, sagt Taylor. "Dynamische Viseme liefern ein genaueres Modell der visuellen Sprachartikulation als konventionelle Mundbewegungen und können visuell plausible phonetische Sequenzen mit einer viel größeren linguistischen Vielfalt erzeugen." Es ergeben sich also mehr Alternativen bei der Synchronisation eines Films oder eines Computerspiels.

Vieldeutigkeit macht Lippenlesen schwer

Golem Akademie
  1. IT-Fachseminare der Golem Akademie
    Live-Workshops zu Schlüsselqualifikationen
  2. 1:1-Videocoaching mit Golem Shifoo
    Berufliche Herausforderungen meistern
  3. Online-Sprachkurse mit Golem & Gymglish
    Kurze Lektionen, die funktionieren
Weitere IT-Trainings

Umgekehrt zeige ihre Untersuchung auch, wie vieldeutig eine Spracherkennung auf der Basis einer visuellen Auswertung sei. Das sei für Hörbehinderte, die auf das Lippenlesen angewiesen sein, ein Nachteil. Ihr Projekt hingegen profitiere von dieser Vieldeutigkeit.

Taylor und ihre Kollegen wollen das Verfahren bei der IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) vorstellen. Die Konferenz findet in dieser Woche in Brisbane in Australien statt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


elf 20. Apr 2015

Ja, dann mach mal. Ist ja alles ganz einfach heutzutage... facepalm

lala1 20. Apr 2015

Ja das hat mir so viele Filme schon versaut ... ich schaue schon keine Filme mehr in...

triplekiller 20. Apr 2015

Mir macht es Spaß, auf die Fremdsprache eines übersetzen Films anhand Lippenbewegungen...

Dwalinn 20. Apr 2015

Ich habe in den anderen thread an etwas ähnliches gedacht^^ nur würde ich das über motion...



Aktuell auf der Startseite von Golem.de
Mercedes-Benz-COO Schäfer
"Das Heil liegt nicht in 2- oder 7-nm-Chips"

IAA 2021 Der Autokonzern Daimler will sich künftig sehr intensiv um die Herstellung und Lieferung von Chips kümmern - angefangen bei den Wafer-Produzenten.
Ein Bericht von Friedhelm Greis

Mercedes-Benz-COO Schäfer: Das Heil liegt nicht in 2- oder 7-nm-Chips
Artikel
  1. Cyrcle Phone 2.0: Rundes Smartphone soll 700 Euro kosten
    Cyrcle Phone 2.0
    Rundes Smartphone soll 700 Euro kosten

    Dass Mobiltelefone in den letzten 20 Jahren meist nicht rund gewesen sind, scheint einen guten Grund zu haben, wie das Cyrcle Phone 2.0 zeigt.

  2. Apple iPhone 13 und iPad jetzt vorbestellbar
     
    Apple iPhone 13 und iPad jetzt vorbestellbar

    Am Dienstagabend hat Apple neue iPads und iPhones vorgestellt, heute können sie in verschiedenen Konfigurationen vorbestellt werden.
    Ausgewählte Angebote des E-Commerce-Teams

  3. Echtzeit-Strategie: Age of Empires 4 braucht nicht die schnellste Hardware
    Echtzeit-Strategie
    Age of Empires 4 braucht nicht die schnellste Hardware

    Die vollständigen Specs für den Technik-Test von Age of Empires 4 liegen vor. Spieler können ab heute Abend in die Historie eintauchen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • iPhone 13: jetzt alle Modelle vorbestellbar • Sony Pulse 3D PS5-Headset Midnight Black vorbestellbar 89,99€ • MM Breaking Deals mit Club-Rabatten (u. a. Samsung 65" QLED 1.189,15€) • WD Black SN750 1TB 96,99€ • Amazon Exklusives in 4K-UHD • GP Anniversary Sale: History & War [Werbung]
    •  /