Abo
  • Services:
Anzeige
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

Synchronisation: Disney lernt Lippenlesen

Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

"Cheese" formen die Lippen der in die Kamera grinsenden Schauspieler, doch "Käsekuchen" sagen die Synchronsprecher: Solche Ungereimtheiten bei der Synchronisation können nerven. Mit einem System zum Lippenlesen will Disney das verbessern.

Anzeige

"Verpiss Dich", sagt der Hauptdarsteller des ausländischen Films. Doch seine Lippen formen ganz andere Laute - "Fuck off" etwa. Eine solche Synchronisation kann dem Zuschauer das Filmvergnügen schon deutlich schmälern. Forscher von Disney Research haben ein Verfahren entwickelt, das eine bessere Synchronisation ermöglichen soll.

Das Verfahren basiert auf einer dynamischen Analyse von Mundbildern - im Englischen Viseme genannt, in Anlehnung an Phonem. Dabei werden die Lippenbewegungen eines Sprechers während einer Äußerung aufgezeichnet und ausgewertet. Für jede Abfolge von Mundbewegungen wird eine grafische Darstellung möglicher Phoneme erzeugt, die zu den Mundbewegungen passen.

Eine Mundbewegung passt zu vielen Worten

Die Forscher um Sarah Taylor fanden heraus, dass zu einer Äußerung viele verschiedene Mundbewegungen passten: Sagt eine Person "clean swatches", könnte sie mit den gleichen Mundbewegungen auch "likes swats" oder "then swine" sagen. Nicht einmal die Zahl der Silben müsse übereinstimmen: Auch "need no pots" passt.

Die Auswertung der dynamischen Viseme produziere deutlich mehr Wortfolgen als die herkömmlichen Verfahren, die bestimmte Lippenbewegungen statisch bestimmten Lauten zuordnen, sagt Taylor. "Dynamische Viseme liefern ein genaueres Modell der visuellen Sprachartikulation als konventionelle Mundbewegungen und können visuell plausible phonetische Sequenzen mit einer viel größeren linguistischen Vielfalt erzeugen." Es ergeben sich also mehr Alternativen bei der Synchronisation eines Films oder eines Computerspiels.

Vieldeutigkeit macht Lippenlesen schwer

Umgekehrt zeige ihre Untersuchung auch, wie vieldeutig eine Spracherkennung auf der Basis einer visuellen Auswertung sei. Das sei für Hörbehinderte, die auf das Lippenlesen angewiesen sein, ein Nachteil. Ihr Projekt hingegen profitiere von dieser Vieldeutigkeit.

Taylor und ihre Kollegen wollen das Verfahren bei der IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) vorstellen. Die Konferenz findet in dieser Woche in Brisbane in Australien statt.


eye home zur Startseite
elf 20. Apr 2015

Ja, dann mach mal. Ist ja alles ganz einfach heutzutage... facepalm

lala1 20. Apr 2015

Ja das hat mir so viele Filme schon versaut ... ich schaue schon keine Filme mehr in...

triplekiller 20. Apr 2015

Mir macht es Spaß, auf die Fremdsprache eines übersetzen Films anhand Lippenbewegungen...

Dwalinn 20. Apr 2015

Ich habe in den anderen thread an etwas ähnliches gedacht^^ nur würde ich das über motion...



Anzeige

Stellenmarkt
  1. SGH Service GmbH, Hildesheim
  2. Computacenter AG & Co. oHG, verschiedene Standorte
  3. thyssenkrupp AG, Essen
  4. Computacenter AG & Co. oHG, Berlin, Frankfurt, Ratingen, Stuttgart, München


Anzeige
Hardware-Angebote
  1. und bis zu 60€ Steam-Guthaben erhalten
  2. 17,99€ statt 29,99€
  3. ab 486,80€

Folgen Sie uns
       


  1. Wemo

    Belkin erweitert Smart-Home-System um Homekit-Bridge

  2. Digital Paper DPT-RP1

    Sonys neuer E-Paper-Notizblock wird 700 US-Dollar kosten

  3. USB Typ C Alternate Mode

    Thunderbolt-3-Docks von Belkin und Elgato ab Juni

  4. Sphero Lightning McQueen

    Erst macht es Brummbrumm, dann verdreht es die Augen

  5. VLC, Kodi, Popcorn Time

    Mediaplayer können über Untertitel gehackt werden

  6. Engine

    Unity bekommt 400 Millionen US-Dollar Investorengeld

  7. Neuauflage

    Neues Nokia 3310 soll bei Defekt komplett ersetzt werden

  8. Surface Studio

    Microsofts Grafikerstation kommt nach Deutschland

  9. Polar

    Fitnesstracker A370 mit Tiefschlaf- und Pulsmessung

  10. Schutz

    Amazon rechtfertigt Sperrungen von Marketplace-Händlern



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Quantencomputer: Nano-Kühlung für Qubits
Quantencomputer
Nano-Kühlung für Qubits
  1. IBM Q Mehr Qubits von IBM
  2. Quantencomputer Was sind diese Qubits?
  3. Verschlüsselung Kryptographie im Quantenzeitalter

Tado im Langzeittest: Am Ende der Heizperiode
Tado im Langzeittest
Am Ende der Heizperiode
  1. Speedport Smart Telekom bringt Smart-Home-Funktionen auf den Speedport
  2. Tapdo Das Smart Home mit Fingerabdrücken steuern
  3. Mehr Möbel als Gadget Eine Holzfernbedienung für das Smart Home

Blackberry Keyone im Test: Tolles Tastatur-Smartphone hat zu kurze Akkulaufzeit
Blackberry Keyone im Test
Tolles Tastatur-Smartphone hat zu kurze Akkulaufzeit
  1. Blackberry Keyone kommt Mitte Mai
  2. Keyone Blackberrys neues Tastatur-Smartphone kommt später
  3. Blackberry Keyone im Hands on Android-Smartphone mit toller Hardware-Tastatur

  1. Re: War Huawei nicht auch mal ein Billig-"China...

    ckerazor | 21:59

  2. Meine Gedanken

    bombinho | 21:55

  3. Re: Unix, das Betriebssystem von Entwicklern, für...

    __destruct() | 21:51

  4. Re: USB C Buchsen - Erfahrungen mit der Haltbarkeit ?

    MarioWario | 21:41

  5. Re: 1400W... für welche Hardware?

    x2k | 21:35


  1. 18:10

  2. 10:10

  3. 09:59

  4. 09:00

  5. 18:58

  6. 18:20

  7. 17:59

  8. 17:44


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel