Abo
  • Services:
Anzeige
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

Synchronisation: Disney lernt Lippenlesen

Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

"Cheese" formen die Lippen der in die Kamera grinsenden Schauspieler, doch "Käsekuchen" sagen die Synchronsprecher: Solche Ungereimtheiten bei der Synchronisation können nerven. Mit einem System zum Lippenlesen will Disney das verbessern.

Anzeige

"Verpiss Dich", sagt der Hauptdarsteller des ausländischen Films. Doch seine Lippen formen ganz andere Laute - "Fuck off" etwa. Eine solche Synchronisation kann dem Zuschauer das Filmvergnügen schon deutlich schmälern. Forscher von Disney Research haben ein Verfahren entwickelt, das eine bessere Synchronisation ermöglichen soll.

Das Verfahren basiert auf einer dynamischen Analyse von Mundbildern - im Englischen Viseme genannt, in Anlehnung an Phonem. Dabei werden die Lippenbewegungen eines Sprechers während einer Äußerung aufgezeichnet und ausgewertet. Für jede Abfolge von Mundbewegungen wird eine grafische Darstellung möglicher Phoneme erzeugt, die zu den Mundbewegungen passen.

Eine Mundbewegung passt zu vielen Worten

Die Forscher um Sarah Taylor fanden heraus, dass zu einer Äußerung viele verschiedene Mundbewegungen passten: Sagt eine Person "clean swatches", könnte sie mit den gleichen Mundbewegungen auch "likes swats" oder "then swine" sagen. Nicht einmal die Zahl der Silben müsse übereinstimmen: Auch "need no pots" passt.

Die Auswertung der dynamischen Viseme produziere deutlich mehr Wortfolgen als die herkömmlichen Verfahren, die bestimmte Lippenbewegungen statisch bestimmten Lauten zuordnen, sagt Taylor. "Dynamische Viseme liefern ein genaueres Modell der visuellen Sprachartikulation als konventionelle Mundbewegungen und können visuell plausible phonetische Sequenzen mit einer viel größeren linguistischen Vielfalt erzeugen." Es ergeben sich also mehr Alternativen bei der Synchronisation eines Films oder eines Computerspiels.

Vieldeutigkeit macht Lippenlesen schwer

Umgekehrt zeige ihre Untersuchung auch, wie vieldeutig eine Spracherkennung auf der Basis einer visuellen Auswertung sei. Das sei für Hörbehinderte, die auf das Lippenlesen angewiesen sein, ein Nachteil. Ihr Projekt hingegen profitiere von dieser Vieldeutigkeit.

Taylor und ihre Kollegen wollen das Verfahren bei der IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) vorstellen. Die Konferenz findet in dieser Woche in Brisbane in Australien statt.


eye home zur Startseite
elf 20. Apr 2015

Ja, dann mach mal. Ist ja alles ganz einfach heutzutage... facepalm

lala1 20. Apr 2015

Ja das hat mir so viele Filme schon versaut ... ich schaue schon keine Filme mehr in...

triplekiller 20. Apr 2015

Mir macht es Spaß, auf die Fremdsprache eines übersetzen Films anhand Lippenbewegungen...

Dwalinn 20. Apr 2015

Ich habe in den anderen thread an etwas ähnliches gedacht^^ nur würde ich das über motion...



Anzeige

Stellenmarkt
  1. über HRM CONSULTING GmbH, Saarbrücken
  2. arago GmbH, Frankfurt am Main
  3. Robert Bosch GmbH, Plochingen
  4. ifm electronic gmbh, Tettnang, Essen


Anzeige
Blu-ray-Angebote
  1. (u. a. Spaceballs, Training Day, Der längste Tag)
  2. 23,99€ (Vorbesteller-Preisgarantie)
  3. 29,99€ (Vorbesteller-Preisgarantie)

Folgen Sie uns
       


  1. Cloud Native Con

    Kubernetes 1.6 versteckt Container-Dienste

  2. Blizzard

    Heroes of the Storm 2.0 bekommt Besuch aus Diablo

  3. APT29

    Staatshacker nutzen Tors Domain-Fronting

  4. Stellenanzeige

    Netflix führt ausgefeilten Kampf gegen illegale Kopien

  5. Xbox One

    Neue Firmware mit Beam und Erfolgsmonitoring

  6. Samsung

    Neue Gear 360 kann in 4K filmen

  7. DeX im Hands On

    Samsung bringt eigene Desktop-Umgebung für Smartphones

  8. Galaxy S8 und S8+ im Kurztest

    Samsung setzt auf langgezogenes Display und Bixby

  9. Erazer-Serie

    Medion bringt mehrere Komplett-PCs mit AMDs Ryzen heraus

  10. DJI

    Drohnen sollen ihre Position und ihre ID funken



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Vikings im Kurztest: Tiefgekühlt kämpfen
Vikings im Kurztest
Tiefgekühlt kämpfen
  1. Nier Automata im Test Stilvolle Action mit Überraschungen
  2. Torment im Test Spiel mit dem Text vom Tod
  3. Nioh im Test Brutal schwierige Samurai-Action

WLAN-Störerhaftung: Wie gefährlich sind die Netzsperrenpläne der Regierung?
WLAN-Störerhaftung
Wie gefährlich sind die Netzsperrenpläne der Regierung?
  1. Telia Schwedischer ISP muss Nutzerdaten herausgeben
  2. Die Woche im Video Dumme Handys, kernige Prozessoren und Zeldaaaaaaaaaa!
  3. Störerhaftung Regierung will Netzsperren statt Abmahnkosten

In eigener Sache: Golem.de sucht Marketing Manager (w/m)
In eigener Sache
Golem.de sucht Marketing Manager (w/m)
  1. In eigener Sache Golem.de geht auf Jobmessen
  2. In eigener Sache Golem.de kommt jetzt sicher ins Haus - per HTTPS
  3. In eigener Sache Unterstützung für die Schlussredaktion gesucht!

  1. Re: Auch für RC-Helikopter?

    m9898 | 00:36

  2. Re: Scheint so als würde denen das Geld langsam...

    Vaako | 00:33

  3. Re: Was wurde eigentlich aus dem HDMI-In?

    Hellsingexe | 00:30

  4. Re: Schade, einfach zu groß und keine Hardware...

    andreastetkov | 00:27

  5. Re: Einzige Anwendung für Gear VR...

    PocketIsland | 00:21


  1. 18:40

  2. 18:19

  3. 18:01

  4. 17:43

  5. 17:25

  6. 17:00

  7. 17:00

  8. 17:00


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel