Abo
  • Services:

Synchronisation: Disney lernt Lippenlesen

"Cheese" formen die Lippen der in die Kamera grinsenden Schauspieler, doch "Käsekuchen" sagen die Synchronsprecher: Solche Ungereimtheiten bei der Synchronisation können nerven. Mit einem System zum Lippenlesen will Disney das verbessern.

Artikel veröffentlicht am ,
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

"Verpiss Dich", sagt der Hauptdarsteller des ausländischen Films. Doch seine Lippen formen ganz andere Laute - "Fuck off" etwa. Eine solche Synchronisation kann dem Zuschauer das Filmvergnügen schon deutlich schmälern. Forscher von Disney Research haben ein Verfahren entwickelt, das eine bessere Synchronisation ermöglichen soll.

Stellenmarkt
  1. Fresenius Netcare GmbH, Bad Homburg
  2. AMS Marketing Service GmbH, München

Das Verfahren basiert auf einer dynamischen Analyse von Mundbildern - im Englischen Viseme genannt, in Anlehnung an Phonem. Dabei werden die Lippenbewegungen eines Sprechers während einer Äußerung aufgezeichnet und ausgewertet. Für jede Abfolge von Mundbewegungen wird eine grafische Darstellung möglicher Phoneme erzeugt, die zu den Mundbewegungen passen.

Eine Mundbewegung passt zu vielen Worten

Die Forscher um Sarah Taylor fanden heraus, dass zu einer Äußerung viele verschiedene Mundbewegungen passten: Sagt eine Person "clean swatches", könnte sie mit den gleichen Mundbewegungen auch "likes swats" oder "then swine" sagen. Nicht einmal die Zahl der Silben müsse übereinstimmen: Auch "need no pots" passt.

Die Auswertung der dynamischen Viseme produziere deutlich mehr Wortfolgen als die herkömmlichen Verfahren, die bestimmte Lippenbewegungen statisch bestimmten Lauten zuordnen, sagt Taylor. "Dynamische Viseme liefern ein genaueres Modell der visuellen Sprachartikulation als konventionelle Mundbewegungen und können visuell plausible phonetische Sequenzen mit einer viel größeren linguistischen Vielfalt erzeugen." Es ergeben sich also mehr Alternativen bei der Synchronisation eines Films oder eines Computerspiels.

Vieldeutigkeit macht Lippenlesen schwer

Umgekehrt zeige ihre Untersuchung auch, wie vieldeutig eine Spracherkennung auf der Basis einer visuellen Auswertung sei. Das sei für Hörbehinderte, die auf das Lippenlesen angewiesen sein, ein Nachteil. Ihr Projekt hingegen profitiere von dieser Vieldeutigkeit.

Taylor und ihre Kollegen wollen das Verfahren bei der IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) vorstellen. Die Konferenz findet in dieser Woche in Brisbane in Australien statt.



Anzeige
Spiele-Angebote
  1. (u. a. Assassin's Creed Origins 24,99€)
  2. (-37%) 37,99€
  3. (u. a. Diablo 3 Ultimate Evil Edition, Gear Club Unlimited, HP-Notebooks)
  4. (-58%) 24,99€

elf 20. Apr 2015

Ja, dann mach mal. Ist ja alles ganz einfach heutzutage... facepalm

lala1 20. Apr 2015

Ja das hat mir so viele Filme schon versaut ... ich schaue schon keine Filme mehr in...

triplekiller 20. Apr 2015

Mir macht es Spaß, auf die Fremdsprache eines übersetzen Films anhand Lippenbewegungen...

Dwalinn 20. Apr 2015

Ich habe in den anderen thread an etwas ähnliches gedacht^^ nur würde ich das über motion...


Folgen Sie uns
       


Thinkpad X1 Carbon Gen6 - Test

Wir testen das Thinkpad X1 Carbon Gen6, das neues Business-Ultrabook von Lenovo. Erstmals verbaut der chinesische Hersteller ein HDR-Display und einen neuen Docking-Anschluss für die Ultra Docking Station.

Thinkpad X1 Carbon Gen6 - Test Video aufrufen
Live-Linux: Knoppix 8.3 mit Docker
Live-Linux
Knoppix 8.3 mit Docker

Cebit 2018 Die Live-Distribution Knoppix Linux-Magazin Edition bringt nicht nur die üblichen Aktualisierungen und einen gegen Meltdown und Spectre geschützten Kernel. Mir ist das kleine Kunststück gelungen, Knoppix als Docker-Container zu starten.
Ein Bericht von Klaus Knopper


    Jurassic World Evolution im Test: Das Leben findet einen Weg
    Jurassic World Evolution im Test
    Das Leben findet einen Weg

    Ian Malcolm hatte recht: Das Leben wird ausgegraben und gebrütet, es frisst und stirbt oder es bricht aus und macht Jagd auf die Besucher. Nur leider haben die Entwickler von Jurassic World Evolution ein paar kleine Design-Fehler begangen, so wie Henry Wu bei der Dino-DNA.
    Ein Test von Marc Sauter

    1. Vampyr im Test Zwischen Dracula und Doktor
    2. Fe im Test Fuchs im Farbenrausch
    3. Thaumistry: In Charm's Way im Test Text-Adventure der ganz alten Schule

    Github-Übernahme: Ein super Deal - für Microsoft und den Rest
    Github-Übernahme
    Ein super Deal - für Microsoft und den Rest

    Mit der Übernahme von Github manövriert sich Microsoft geschickt aus einer Abhängigkeit und stärkt dabei noch sein Cloud-Geschäft. Das setzt wohl vor allem Atlassian unter Druck. Was der Kauf für das Open-Source-Engagement Githubs bedeutet, ist damit eigentlich auch völlig klar.
    Eine Analyse von Sebastian Grüner

    1. Code-Hosting Microsoft übernimmt Github für 7,5 Milliarden US-Dollar
    2. Entwicklerplattform Microsoft will Github kaufen
    3. Verschlüsselung Github testet Abschaltung alter Krypto

      •  /