Abo
  • Services:

Synchronisation: Disney lernt Lippenlesen

"Cheese" formen die Lippen der in die Kamera grinsenden Schauspieler, doch "Käsekuchen" sagen die Synchronsprecher: Solche Ungereimtheiten bei der Synchronisation können nerven. Mit einem System zum Lippenlesen will Disney das verbessern.

Artikel veröffentlicht am ,
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

"Verpiss Dich", sagt der Hauptdarsteller des ausländischen Films. Doch seine Lippen formen ganz andere Laute - "Fuck off" etwa. Eine solche Synchronisation kann dem Zuschauer das Filmvergnügen schon deutlich schmälern. Forscher von Disney Research haben ein Verfahren entwickelt, das eine bessere Synchronisation ermöglichen soll.

Stellenmarkt
  1. BWI GmbH, Bonn, Strausberg, Wilhelmshaven, München
  2. BWI GmbH, Bonn

Das Verfahren basiert auf einer dynamischen Analyse von Mundbildern - im Englischen Viseme genannt, in Anlehnung an Phonem. Dabei werden die Lippenbewegungen eines Sprechers während einer Äußerung aufgezeichnet und ausgewertet. Für jede Abfolge von Mundbewegungen wird eine grafische Darstellung möglicher Phoneme erzeugt, die zu den Mundbewegungen passen.

Eine Mundbewegung passt zu vielen Worten

Die Forscher um Sarah Taylor fanden heraus, dass zu einer Äußerung viele verschiedene Mundbewegungen passten: Sagt eine Person "clean swatches", könnte sie mit den gleichen Mundbewegungen auch "likes swats" oder "then swine" sagen. Nicht einmal die Zahl der Silben müsse übereinstimmen: Auch "need no pots" passt.

Die Auswertung der dynamischen Viseme produziere deutlich mehr Wortfolgen als die herkömmlichen Verfahren, die bestimmte Lippenbewegungen statisch bestimmten Lauten zuordnen, sagt Taylor. "Dynamische Viseme liefern ein genaueres Modell der visuellen Sprachartikulation als konventionelle Mundbewegungen und können visuell plausible phonetische Sequenzen mit einer viel größeren linguistischen Vielfalt erzeugen." Es ergeben sich also mehr Alternativen bei der Synchronisation eines Films oder eines Computerspiels.

Vieldeutigkeit macht Lippenlesen schwer

Umgekehrt zeige ihre Untersuchung auch, wie vieldeutig eine Spracherkennung auf der Basis einer visuellen Auswertung sei. Das sei für Hörbehinderte, die auf das Lippenlesen angewiesen sein, ein Nachteil. Ihr Projekt hingegen profitiere von dieser Vieldeutigkeit.

Taylor und ihre Kollegen wollen das Verfahren bei der IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) vorstellen. Die Konferenz findet in dieser Woche in Brisbane in Australien statt.



Anzeige
Top-Angebote
  1. 75,62€ (Vergleichspreis 82,89€)
  2. 46,69€ (Vergleichspreis ca. 75€)
  3. 36,12€ (Vergleichspreis 42,90€)
  4. (u. a. Xbox Live Gold 12 Monate für 38,49€ und Monster Hunter World Deluxe Edition für 48,49€)

elf 20. Apr 2015

Ja, dann mach mal. Ist ja alles ganz einfach heutzutage... facepalm

lala1 20. Apr 2015

Ja das hat mir so viele Filme schon versaut ... ich schaue schon keine Filme mehr in...

triplekiller 20. Apr 2015

Mir macht es Spaß, auf die Fremdsprache eines übersetzen Films anhand Lippenbewegungen...

Dwalinn 20. Apr 2015

Ich habe in den anderen thread an etwas ähnliches gedacht^^ nur würde ich das über motion...


Folgen Sie uns
       


HTC U12 Life - Hands on (Ifa 2018)

HTC hat mit dem U12 Life ein neues Mittelklasse-Smartphone vorgestellt, das besonders durch die gravierte Glasrückseite auffällt. Golem.de konnte sich das Gerät vor dem Marktstart anschauen.

HTC U12 Life - Hands on (Ifa 2018) Video aufrufen
Energietechnik: Die Verlockung der Lithium-Luft-Akkus
Energietechnik
Die Verlockung der Lithium-Luft-Akkus

Ein Akku mit der Energiekapazität eines Benzintanks würde viele Probleme lösen. In der Theorie ist das möglich. In der Praxis ist noch viel Arbeit nötig.
Von Frank Wunderlich-Pfeiffer

  1. Elektroautos CDU will Bau von Akkuzellenfabriken subventionieren
  2. Brine4Power EWE will Strom unter der Erde speichern
  3. Forschung Akku für Elektroautos macht es sich im Winter warm

iOS 12 im Test: Auch Apple will es Nutzern leichter machen
iOS 12 im Test
Auch Apple will es Nutzern leichter machen

Apple setzt mit iOS 12 weniger auf aufsehenerregende Funktionen als auf viele kleine Verbesserungen für den Alltag. Das erinnert an Google und Android 9, was nicht zwingend schlecht ist.
Ein Test von Tobias Költzsch

  1. Apple iOS 12.1 verrät neues iPad Pro
  2. Apple Siri-Kurzbefehle-App für iOS 12 verfügbar

Segelflug: Die Höhenflieger
Segelflug
Die Höhenflieger

In einem Experimental-Segelflugzeug von Airbus wollen Flugenthusiasten auf gigantischen Luftwirbeln am Rande der Antarktis fast 30 Kilometer hoch aufsteigen - ganz ohne Motor. An Bord sind Messinstrumente, die neue und unverfälschte Daten für die Klimaforschung liefern.
Ein Bericht von Daniel Hautmann

  1. Luftfahrt Nasa testet leise Überschallflüge
  2. Low-Boom Flight Demonstrator Lockheed baut leises Überschallflugzeug
  3. Elektroflieger Norwegen will elektrisch fliegen

    •  /