Abo
  • Services:

Synchronisation: Disney lernt Lippenlesen

"Cheese" formen die Lippen der in die Kamera grinsenden Schauspieler, doch "Käsekuchen" sagen die Synchronsprecher: Solche Ungereimtheiten bei der Synchronisation können nerven. Mit einem System zum Lippenlesen will Disney das verbessern.

Artikel veröffentlicht am ,
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

"Verpiss Dich", sagt der Hauptdarsteller des ausländischen Films. Doch seine Lippen formen ganz andere Laute - "Fuck off" etwa. Eine solche Synchronisation kann dem Zuschauer das Filmvergnügen schon deutlich schmälern. Forscher von Disney Research haben ein Verfahren entwickelt, das eine bessere Synchronisation ermöglichen soll.

Stellenmarkt
  1. Autobahn Tank & Rast Gruppe, Bonn
  2. Schneider Electric Automation GmbH, Marktheidenfeld, Leobersdorf (Österreich)

Das Verfahren basiert auf einer dynamischen Analyse von Mundbildern - im Englischen Viseme genannt, in Anlehnung an Phonem. Dabei werden die Lippenbewegungen eines Sprechers während einer Äußerung aufgezeichnet und ausgewertet. Für jede Abfolge von Mundbewegungen wird eine grafische Darstellung möglicher Phoneme erzeugt, die zu den Mundbewegungen passen.

Eine Mundbewegung passt zu vielen Worten

Die Forscher um Sarah Taylor fanden heraus, dass zu einer Äußerung viele verschiedene Mundbewegungen passten: Sagt eine Person "clean swatches", könnte sie mit den gleichen Mundbewegungen auch "likes swats" oder "then swine" sagen. Nicht einmal die Zahl der Silben müsse übereinstimmen: Auch "need no pots" passt.

Die Auswertung der dynamischen Viseme produziere deutlich mehr Wortfolgen als die herkömmlichen Verfahren, die bestimmte Lippenbewegungen statisch bestimmten Lauten zuordnen, sagt Taylor. "Dynamische Viseme liefern ein genaueres Modell der visuellen Sprachartikulation als konventionelle Mundbewegungen und können visuell plausible phonetische Sequenzen mit einer viel größeren linguistischen Vielfalt erzeugen." Es ergeben sich also mehr Alternativen bei der Synchronisation eines Films oder eines Computerspiels.

Vieldeutigkeit macht Lippenlesen schwer

Umgekehrt zeige ihre Untersuchung auch, wie vieldeutig eine Spracherkennung auf der Basis einer visuellen Auswertung sei. Das sei für Hörbehinderte, die auf das Lippenlesen angewiesen sein, ein Nachteil. Ihr Projekt hingegen profitiere von dieser Vieldeutigkeit.

Taylor und ihre Kollegen wollen das Verfahren bei der IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) vorstellen. Die Konferenz findet in dieser Woche in Brisbane in Australien statt.



Anzeige
Top-Angebote
  1. 219,00€
  2. 19,99€
  3. (u. a. 1 TB 57,99€, 2 TB 76,99€)
  4. 333,00€ (Bestpreis!)

elf 20. Apr 2015

Ja, dann mach mal. Ist ja alles ganz einfach heutzutage... facepalm

lala1 20. Apr 2015

Ja das hat mir so viele Filme schon versaut ... ich schaue schon keine Filme mehr in...

triplekiller 20. Apr 2015

Mir macht es Spaß, auf die Fremdsprache eines übersetzen Films anhand Lippenbewegungen...

Dwalinn 20. Apr 2015

Ich habe in den anderen thread an etwas ähnliches gedacht^^ nur würde ich das über motion...


Folgen Sie uns
       


Microsoft Hololens 2 - Hands on (MWC 2019)

Die Hololens 2 ist Microsofts zweites AR-Headset. Im ersten Kurztest von Golem.de überzeugt das Gerät vor allem durch das merklich größere Sichtfeld.

Microsoft Hololens 2 - Hands on (MWC 2019) Video aufrufen
Thyssen-Krupp Testturm Rottweil: Herr Fetzer parkt die Aufzugkabine um
Thyssen-Krupp Testturm Rottweil
Herr Fetzer parkt die Aufzugkabine um

Ohne Aufzüge gäbe es keine Hochhäuser. Aber inzwischen sind Wolkenkratzer zu hoch für herkömmliche Systeme. Thyssen-Krupp testet derzeit einen neuartigen Aufzug, der beliebig hoch fahren kann. Inspiriert ist er vom Paternoster und dem Transrapid. Wir waren im Testturm.
Ein Bericht von Werner Pluta

  1. Ceramic Speed Hätte, hätte - Fahrrad ohne Kette
  2. Geheimdienste und Bundeswehr Masterstudiengang für Staatshacker gestartet
  3. Sonitus Technologies Zahnmikrofon sorgt für klare Kommunikation

Microsoft: Die ganz normale, lautlose Cloud-Apokalypse
Microsoft
Die ganz normale, lautlose Cloud-Apokalypse

Wenn Cloud-Dienste ausfallen, ist oft nur ein Server kaputt. Wenn aber Googles Safe-Browsing-Systeme den Zugriff auf die deutsche Microsoft Cloud komplett blockieren, liegt noch viel mehr im Argen - und das lässt für die Zukunft nichts Gutes erwarten.
Von Sebastian Grüner

  1. Services Gemeinsames Accenture Microsoft Business arbeitet bereits
  2. Business Accenture und Microsoft gründen gemeinsame Service-Sparte
  3. AWS, Azure, Alibaba, IBM Cloud Wo die Cloud hilft - und wo nicht

Tom Clancy's The Division 2 im Test: Richtig guter Loot-Shooter
Tom Clancy's The Division 2 im Test
Richtig guter Loot-Shooter

Ubisofts neuer Online-Shooter beweist, dass komplexe Live-Spiele durchaus von Anfang an überzeugen können. Bis auf die schwache Geschichte und Gegner, denen selbst Dauerbeschuss kaum etwas anhaben kann, ist The Division 2 ein spektakuläres Spiel.
Von Jan Bojaryn

  1. Netztest Connect Netztest urteilt trotz Funklöchern zweimal sehr gut
  2. Netztest Chip verteilt viel Lob trotz Funklöchern

    •  /