Abo
  • IT-Karriere:

Synchronisation: Disney lernt Lippenlesen

"Cheese" formen die Lippen der in die Kamera grinsenden Schauspieler, doch "Käsekuchen" sagen die Synchronsprecher: Solche Ungereimtheiten bei der Synchronisation können nerven. Mit einem System zum Lippenlesen will Disney das verbessern.

Artikel veröffentlicht am ,
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

"Verpiss Dich", sagt der Hauptdarsteller des ausländischen Films. Doch seine Lippen formen ganz andere Laute - "Fuck off" etwa. Eine solche Synchronisation kann dem Zuschauer das Filmvergnügen schon deutlich schmälern. Forscher von Disney Research haben ein Verfahren entwickelt, das eine bessere Synchronisation ermöglichen soll.

Stellenmarkt
  1. Landwirtschaftliche Rentenbank, Frankfurt am Main
  2. TÜV SÜD Gruppe, München

Das Verfahren basiert auf einer dynamischen Analyse von Mundbildern - im Englischen Viseme genannt, in Anlehnung an Phonem. Dabei werden die Lippenbewegungen eines Sprechers während einer Äußerung aufgezeichnet und ausgewertet. Für jede Abfolge von Mundbewegungen wird eine grafische Darstellung möglicher Phoneme erzeugt, die zu den Mundbewegungen passen.

Eine Mundbewegung passt zu vielen Worten

Die Forscher um Sarah Taylor fanden heraus, dass zu einer Äußerung viele verschiedene Mundbewegungen passten: Sagt eine Person "clean swatches", könnte sie mit den gleichen Mundbewegungen auch "likes swats" oder "then swine" sagen. Nicht einmal die Zahl der Silben müsse übereinstimmen: Auch "need no pots" passt.

Die Auswertung der dynamischen Viseme produziere deutlich mehr Wortfolgen als die herkömmlichen Verfahren, die bestimmte Lippenbewegungen statisch bestimmten Lauten zuordnen, sagt Taylor. "Dynamische Viseme liefern ein genaueres Modell der visuellen Sprachartikulation als konventionelle Mundbewegungen und können visuell plausible phonetische Sequenzen mit einer viel größeren linguistischen Vielfalt erzeugen." Es ergeben sich also mehr Alternativen bei der Synchronisation eines Films oder eines Computerspiels.

Vieldeutigkeit macht Lippenlesen schwer

Umgekehrt zeige ihre Untersuchung auch, wie vieldeutig eine Spracherkennung auf der Basis einer visuellen Auswertung sei. Das sei für Hörbehinderte, die auf das Lippenlesen angewiesen sein, ein Nachteil. Ihr Projekt hingegen profitiere von dieser Vieldeutigkeit.

Taylor und ihre Kollegen wollen das Verfahren bei der IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) vorstellen. Die Konferenz findet in dieser Woche in Brisbane in Australien statt.



Anzeige
Spiele-Angebote
  1. 2,99€
  2. 33,95€
  3. (-68%) 15,99€

elf 20. Apr 2015

Ja, dann mach mal. Ist ja alles ganz einfach heutzutage... facepalm

lala1 20. Apr 2015

Ja das hat mir so viele Filme schon versaut ... ich schaue schon keine Filme mehr in...

triplekiller 20. Apr 2015

Mir macht es Spaß, auf die Fremdsprache eines übersetzen Films anhand Lippenbewegungen...

Dwalinn 20. Apr 2015

Ich habe in den anderen thread an etwas ähnliches gedacht^^ nur würde ich das über motion...


Folgen Sie uns
       


Wasserstoff-Mercedes GLC F-Cell im Test

Der Mercedes GLC F-Cell ist eines der wenigen Serienfahrzeuge mit Brennstoffzellenantrieb. Wir haben das Auto getestet.

Wasserstoff-Mercedes GLC F-Cell im Test Video aufrufen
Linux-Gaming: Steam Play or GTFO!
Linux-Gaming
Steam Play or GTFO!

Meine ersten Gaming-Eindrücke nach dem Umstieg von Windows auf Linux sind dank Steam recht positiv gewesen: Doch was passiert, wenn ich die heile Steam-(Play-)Welt verlasse und trotzdem Windows-Spiele unter Linux starten möchte? Meine anfängliche Euphorie weicht Ernüchterung.
Ein Praxistest von Eric Ferrari-Herrmann

  1. Project Mainline und Apex Google bringt überall Android-Updates, außer am Kernel
  2. Ubuntu Lenovo bietet Laptops mit vorinstalliertem Linux an
  3. Steam Play Tschüss Windows, hallo Linux - ein Gamer zieht um

In eigener Sache: Neue Workshops zu agilem Arbeiten und Selbstmanagement
In eigener Sache
Neue Workshops zu agilem Arbeiten und Selbstmanagement

Wir haben in unserer Leserumfrage nach Wünschen für Weiterbildungsangebote gefragt. Hier ist das Ergebnis: Zwei neue Workshops widmen sich der Selbstorganisation und gängigen Fehlern beim agilen Arbeiten - natürlich extra für IT-Profis.

  1. Golem Akademie Golem.de startet Angebote zur beruflichen Weiterbildung
  2. In eigener Sache Zweiter Termin für Kubernetes-Seminar
  3. Leserumfrage Wie können wir dich unterstützen?

iPad OS im Test: Apple entdeckt den USB-Stick
iPad OS im Test
Apple entdeckt den USB-Stick

Zusammen mit iOS 13 hat Apple eine eigene Version für seine iPads vorgestellt: iPad OS verbessert die Benutzung als Tablet tatsächlich, ein Notebook-Ersatz ist ein iPad Pro damit aber immer noch nicht. Apple bringt aber endlich Funktionen, die wir teilweise seit Jahren vermisst haben.
Ein Test von Tobias Költzsch

  1. Tablets Apple bringt neues iPad Air und iPad Mini
  2. Eurasische Wirtschaftskommission Apple registriert sieben neue iPads
  3. Apple Es ändert sich einiges bei der App-Entwicklung für das iPad

    •  /