Abo
  • IT-Karriere:

Synchronisation: Disney lernt Lippenlesen

"Cheese" formen die Lippen der in die Kamera grinsenden Schauspieler, doch "Käsekuchen" sagen die Synchronsprecher: Solche Ungereimtheiten bei der Synchronisation können nerven. Mit einem System zum Lippenlesen will Disney das verbessern.

Artikel veröffentlicht am ,
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

"Verpiss Dich", sagt der Hauptdarsteller des ausländischen Films. Doch seine Lippen formen ganz andere Laute - "Fuck off" etwa. Eine solche Synchronisation kann dem Zuschauer das Filmvergnügen schon deutlich schmälern. Forscher von Disney Research haben ein Verfahren entwickelt, das eine bessere Synchronisation ermöglichen soll.

Stellenmarkt
  1. Witt-Gruppe, Weiden in der Oberpfalz
  2. AKDB, Regensburg

Das Verfahren basiert auf einer dynamischen Analyse von Mundbildern - im Englischen Viseme genannt, in Anlehnung an Phonem. Dabei werden die Lippenbewegungen eines Sprechers während einer Äußerung aufgezeichnet und ausgewertet. Für jede Abfolge von Mundbewegungen wird eine grafische Darstellung möglicher Phoneme erzeugt, die zu den Mundbewegungen passen.

Eine Mundbewegung passt zu vielen Worten

Die Forscher um Sarah Taylor fanden heraus, dass zu einer Äußerung viele verschiedene Mundbewegungen passten: Sagt eine Person "clean swatches", könnte sie mit den gleichen Mundbewegungen auch "likes swats" oder "then swine" sagen. Nicht einmal die Zahl der Silben müsse übereinstimmen: Auch "need no pots" passt.

Die Auswertung der dynamischen Viseme produziere deutlich mehr Wortfolgen als die herkömmlichen Verfahren, die bestimmte Lippenbewegungen statisch bestimmten Lauten zuordnen, sagt Taylor. "Dynamische Viseme liefern ein genaueres Modell der visuellen Sprachartikulation als konventionelle Mundbewegungen und können visuell plausible phonetische Sequenzen mit einer viel größeren linguistischen Vielfalt erzeugen." Es ergeben sich also mehr Alternativen bei der Synchronisation eines Films oder eines Computerspiels.

Vieldeutigkeit macht Lippenlesen schwer

Umgekehrt zeige ihre Untersuchung auch, wie vieldeutig eine Spracherkennung auf der Basis einer visuellen Auswertung sei. Das sei für Hörbehinderte, die auf das Lippenlesen angewiesen sein, ein Nachteil. Ihr Projekt hingegen profitiere von dieser Vieldeutigkeit.

Taylor und ihre Kollegen wollen das Verfahren bei der IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) vorstellen. Die Konferenz findet in dieser Woche in Brisbane in Australien statt.



Anzeige
Top-Angebote
  1. (u. a. Lenovo Legion Y530-15ICH für 699€ + Versand - Bestpreis!)
  2. ab 99,00€
  3. (u. a. GTA 5 für 12,99€, Landwirtschafts-Simulator 19 für 27,99€, Battlefield V für 32,99€)

elf 20. Apr 2015

Ja, dann mach mal. Ist ja alles ganz einfach heutzutage... facepalm

lala1 20. Apr 2015

Ja das hat mir so viele Filme schon versaut ... ich schaue schon keine Filme mehr in...

triplekiller 20. Apr 2015

Mir macht es Spaß, auf die Fremdsprache eines übersetzen Films anhand Lippenbewegungen...

Dwalinn 20. Apr 2015

Ich habe in den anderen thread an etwas ähnliches gedacht^^ nur würde ich das über motion...


Folgen Sie uns
       


Schneller 3D-Drucker vom Fraunhofer IWU - Bericht

Ein 3D-Drucker für die Industrie: Das Fraunhofer IWU stellte auf der Hannover Messe 2019 einen 3D-Drucker vor, der deutlich schneller ist als herkömmliche Geräte dieser Art.

Schneller 3D-Drucker vom Fraunhofer IWU - Bericht Video aufrufen
Bug Bounty Hunter: Mit Hacker 101-Tutorials zum Millionär
Bug Bounty Hunter
Mit "Hacker 101"-Tutorials zum Millionär

Santiago Lopez hat sich als Junge selbst das Hacken beigebracht und spürt Sicherheitslücken in der Software von Unternehmen auf. Gerade hat er damit seine erste Million verdient. Im Interview mit Golem.de erzählt er von seinem Alltag.
Ein Interview von Maja Hoock

  1. White Hat Hacking In unter zwei Stunden in Universitätsnetzwerke gelangen

Oneplus 7 Pro im Hands on: Neue Konkurrenz für die Smartphone-Oberklasse
Oneplus 7 Pro im Hands on
Neue Konkurrenz für die Smartphone-Oberklasse

Parallel zum Oneplus 7 hat das chinesische Unternehmen Oneplus auch das besser ausgestattete Oneplus 7 Pro vorgestellt. Das Smartphone ist mit seiner Kamera mit drei Objektiven für alle Fotosituationen gewappnet und hat eine ausfahrbare Frontkamera - das hat aber seinen Preis.
Ein Hands on von Ingo Pakalski

  1. Smartphone Oneplus 7 Pro hat kein echtes Dreifach-Tele
  2. Oneplus Upgrade auf Android 9 für Oneplus 3 und 3T wird verteilt
  3. Smartphones Android-Q-Beta für Oneplus-7-Modelle veröffentlicht

Motorola One Vision im Hands on: Smartphone mit 48-Megapixel-Kamera für 300 Euro
Motorola One Vision im Hands on
Smartphone mit 48-Megapixel-Kamera für 300 Euro

Motorola bringt ein weiteres Android-One-Smartphone auf den Markt. Die Neuvorstellung verwendet viel Samsung-Technik und hat ein sehr schmales Display. Die technischen Daten sind für diese Preisklasse vielversprechend.
Ein Hands on von Ingo Pakalski

  1. Moto G7 Power Lenovos neues Motorola-Smartphone hat einen großen Akku
  2. Smartphones Lenovo leakt neue Moto-G7-Serie

    •  /