Abo
  • Services:

Synchronisation: Disney lernt Lippenlesen

"Cheese" formen die Lippen der in die Kamera grinsenden Schauspieler, doch "Käsekuchen" sagen die Synchronsprecher: Solche Ungereimtheiten bei der Synchronisation können nerven. Mit einem System zum Lippenlesen will Disney das verbessern.

Artikel veröffentlicht am ,
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

"Verpiss Dich", sagt der Hauptdarsteller des ausländischen Films. Doch seine Lippen formen ganz andere Laute - "Fuck off" etwa. Eine solche Synchronisation kann dem Zuschauer das Filmvergnügen schon deutlich schmälern. Forscher von Disney Research haben ein Verfahren entwickelt, das eine bessere Synchronisation ermöglichen soll.

Stellenmarkt
  1. Delta Energy Systems (Germany) GmbH, Teningen
  2. Klinikum Nürnberg, Nürnberg

Das Verfahren basiert auf einer dynamischen Analyse von Mundbildern - im Englischen Viseme genannt, in Anlehnung an Phonem. Dabei werden die Lippenbewegungen eines Sprechers während einer Äußerung aufgezeichnet und ausgewertet. Für jede Abfolge von Mundbewegungen wird eine grafische Darstellung möglicher Phoneme erzeugt, die zu den Mundbewegungen passen.

Eine Mundbewegung passt zu vielen Worten

Die Forscher um Sarah Taylor fanden heraus, dass zu einer Äußerung viele verschiedene Mundbewegungen passten: Sagt eine Person "clean swatches", könnte sie mit den gleichen Mundbewegungen auch "likes swats" oder "then swine" sagen. Nicht einmal die Zahl der Silben müsse übereinstimmen: Auch "need no pots" passt.

Die Auswertung der dynamischen Viseme produziere deutlich mehr Wortfolgen als die herkömmlichen Verfahren, die bestimmte Lippenbewegungen statisch bestimmten Lauten zuordnen, sagt Taylor. "Dynamische Viseme liefern ein genaueres Modell der visuellen Sprachartikulation als konventionelle Mundbewegungen und können visuell plausible phonetische Sequenzen mit einer viel größeren linguistischen Vielfalt erzeugen." Es ergeben sich also mehr Alternativen bei der Synchronisation eines Films oder eines Computerspiels.

Vieldeutigkeit macht Lippenlesen schwer

Umgekehrt zeige ihre Untersuchung auch, wie vieldeutig eine Spracherkennung auf der Basis einer visuellen Auswertung sei. Das sei für Hörbehinderte, die auf das Lippenlesen angewiesen sein, ein Nachteil. Ihr Projekt hingegen profitiere von dieser Vieldeutigkeit.

Taylor und ihre Kollegen wollen das Verfahren bei der IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) vorstellen. Die Konferenz findet in dieser Woche in Brisbane in Australien statt.



Anzeige
Hardware-Angebote
  1. 1.299,00€
  2. täglich neue Deals bei Alternate.de

elf 20. Apr 2015

Ja, dann mach mal. Ist ja alles ganz einfach heutzutage... facepalm

lala1 20. Apr 2015

Ja das hat mir so viele Filme schon versaut ... ich schaue schon keine Filme mehr in...

triplekiller 20. Apr 2015

Mir macht es Spaß, auf die Fremdsprache eines übersetzen Films anhand Lippenbewegungen...

Dwalinn 20. Apr 2015

Ich habe in den anderen thread an etwas ähnliches gedacht^^ nur würde ich das über motion...


Folgen Sie uns
       


Artifact - Fazit

Valve schuldet der Spielerschaft eigentlich noch Half-Life 3. Das Unternehmen will aber anscheinend dafür erst einmal genügend Geld durch das neue Sammelkartenspiel Artifact sammeln.

Artifact - Fazit Video aufrufen
Yuneec H520: 3D-Modell aus der Drohne
Yuneec H520
3D-Modell aus der Drohne

Multikopter werden zunehmend auch kommerziell verwendet. Vor allem machen die Drohnen Luftbilder und Inspektionsflüge und vermessen. Wir haben in der Praxis getestet, wie gut das mit dem Yuneec H520 funktioniert.
Von Dirk Koller


    Requiem zur Cebit: Es war einmal die beste Messe
    Requiem zur Cebit
    Es war einmal die beste Messe

    Nach 33 Jahren ist Schluss mit der Cebit und das ist mehr als schade. Wir waren dabei, als sie noch nicht nur die größte, sondern auch die beste Messe der Welt war - und haben dann erlebt, wie Trends verschlafen wurden. Ein Nachruf.
    Von Nico Ernst

    1. IT-Messe Die Cebit wird eingestellt

    Drahtlos-Headsets im Test: Ohne Kabel spielt sich's angenehmer
    Drahtlos-Headsets im Test
    Ohne Kabel spielt sich's angenehmer

    Sie nerven und verdrehen sich in den Rollen unseres Stuhls: Kabel sind gerade bei Headsets eine Plage. Doch gibt es so viele Produkte, die darauf verzichten können. Wir testen das Alienware AW988, das Audeze Mobius, das Hyperx Cloud Flight und das Razer Nari Ultimate - und haben einen Favoriten.
    Ein Test von Oliver Nickel

    1. Sieben Bluetooth-Ohrstöpsel im Test Jabra zeigt Apple, was den Airpods fehlt
    2. Ticpods Free Airpods-Konkurrenten mit Touchbedienung kosten 80 Euro
    3. Bluetooth-Ohrstöpsel im Vergleichstest Apples Airpods lassen hören und staunen

      •  /