• IT-Karriere:
  • Services:

Synchronisation: Disney lernt Lippenlesen

"Cheese" formen die Lippen der in die Kamera grinsenden Schauspieler, doch "Käsekuchen" sagen die Synchronsprecher: Solche Ungereimtheiten bei der Synchronisation können nerven. Mit einem System zum Lippenlesen will Disney das verbessern.

Artikel veröffentlicht am ,
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

"Verpiss Dich", sagt der Hauptdarsteller des ausländischen Films. Doch seine Lippen formen ganz andere Laute - "Fuck off" etwa. Eine solche Synchronisation kann dem Zuschauer das Filmvergnügen schon deutlich schmälern. Forscher von Disney Research haben ein Verfahren entwickelt, das eine bessere Synchronisation ermöglichen soll.

Stellenmarkt
  1. ADAC IT Service GmbH, München
  2. Stadt Frankfurt am Main, Frankfurt am Main

Das Verfahren basiert auf einer dynamischen Analyse von Mundbildern - im Englischen Viseme genannt, in Anlehnung an Phonem. Dabei werden die Lippenbewegungen eines Sprechers während einer Äußerung aufgezeichnet und ausgewertet. Für jede Abfolge von Mundbewegungen wird eine grafische Darstellung möglicher Phoneme erzeugt, die zu den Mundbewegungen passen.

Eine Mundbewegung passt zu vielen Worten

Die Forscher um Sarah Taylor fanden heraus, dass zu einer Äußerung viele verschiedene Mundbewegungen passten: Sagt eine Person "clean swatches", könnte sie mit den gleichen Mundbewegungen auch "likes swats" oder "then swine" sagen. Nicht einmal die Zahl der Silben müsse übereinstimmen: Auch "need no pots" passt.

Die Auswertung der dynamischen Viseme produziere deutlich mehr Wortfolgen als die herkömmlichen Verfahren, die bestimmte Lippenbewegungen statisch bestimmten Lauten zuordnen, sagt Taylor. "Dynamische Viseme liefern ein genaueres Modell der visuellen Sprachartikulation als konventionelle Mundbewegungen und können visuell plausible phonetische Sequenzen mit einer viel größeren linguistischen Vielfalt erzeugen." Es ergeben sich also mehr Alternativen bei der Synchronisation eines Films oder eines Computerspiels.

Vieldeutigkeit macht Lippenlesen schwer

Umgekehrt zeige ihre Untersuchung auch, wie vieldeutig eine Spracherkennung auf der Basis einer visuellen Auswertung sei. Das sei für Hörbehinderte, die auf das Lippenlesen angewiesen sein, ein Nachteil. Ihr Projekt hingegen profitiere von dieser Vieldeutigkeit.

Taylor und ihre Kollegen wollen das Verfahren bei der IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) vorstellen. Die Konferenz findet in dieser Woche in Brisbane in Australien statt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. (u. a. This War of Mine für 4,75€, Children of Morta für 11,99€, Frostpunk für 9,99€, Beat...
  2. (u. a. The Elder Scrolls: Skyrim VR für 26,99€, Wolfenstein 2: The New Colossus für 11€, Prey...
  3. 19,99€

elf 20. Apr 2015

Ja, dann mach mal. Ist ja alles ganz einfach heutzutage... facepalm

lala1 20. Apr 2015

Ja das hat mir so viele Filme schon versaut ... ich schaue schon keine Filme mehr in...

triplekiller 20. Apr 2015

Mir macht es Spaß, auf die Fremdsprache eines übersetzen Films anhand Lippenbewegungen...

Dwalinn 20. Apr 2015

Ich habe in den anderen thread an etwas ähnliches gedacht^^ nur würde ich das über motion...


Folgen Sie uns
       


Beoplay H95 im Test: Toller Klang, aber für 800 Euro zu schwache ANC-Leistung
Beoplay H95 im Test
Toller Klang, aber für 800 Euro zu schwache ANC-Leistung

Der Beoplay H95 ist ein ANC-Kopfhörer mit einem tollen Klang. Aber wer dafür viel Geld ausgibt, muss sich mit einigen Kompromissen abfinden.
Ein Test von Ingo Pakalski


    Cowboy 3 vs. Vanmoof S3 im Test: Das Duell der Purismus-Pedelecs
    Cowboy 3 vs. Vanmoof S3 im Test
    Das Duell der Purismus-Pedelecs

    Schwarz, schlank und schick sind die urbanen E-Bikes von Cowboy und Vanmoof. Doch nur eines der Pedelecs liest unsere Gedanken.
    Ein Praxistest von Martin Wolf

    1. Montage an der Bremse E-Antrieb für Mountainbikes zum Nachrüsten
    2. Hopper Dreirad mit Dach soll Autos aus der Stadt verdrängen
    3. Alternative zum Auto ADAC warnt vor Überlastung von E-Bikes

    Thinkpad T14s (AMD) im Test: Lenovos kleines Schwarzes kann noch immer überzeugen
    Thinkpad T14s (AMD) im Test
    Lenovos kleines Schwarzes kann noch immer überzeugen

    Sechs Kerne und die beste Tastatur: Durch AMDs Renoir gehört das Thinkpad T14s zu Lenovos besten Geräten - trotz verlötetem RAM.
    Ein Test von Oliver Nickel und Marc Sauter

    1. Ubuntu Lenovo baut sein Linux-Angebot massiv aus
    2. Yoga (Slim) 9i Tiger-Lake-Notebooks mit hellem 4K-Display
    3. Smart Clock Essential Smartes Display mit Google Assistant hat ein Nachtlicht

      •  /