Abo
  • Services:
Anzeige
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

Synchronisation: Disney lernt Lippenlesen

Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

"Cheese" formen die Lippen der in die Kamera grinsenden Schauspieler, doch "Käsekuchen" sagen die Synchronsprecher: Solche Ungereimtheiten bei der Synchronisation können nerven. Mit einem System zum Lippenlesen will Disney das verbessern.

Anzeige

"Verpiss Dich", sagt der Hauptdarsteller des ausländischen Films. Doch seine Lippen formen ganz andere Laute - "Fuck off" etwa. Eine solche Synchronisation kann dem Zuschauer das Filmvergnügen schon deutlich schmälern. Forscher von Disney Research haben ein Verfahren entwickelt, das eine bessere Synchronisation ermöglichen soll.

Das Verfahren basiert auf einer dynamischen Analyse von Mundbildern - im Englischen Viseme genannt, in Anlehnung an Phonem. Dabei werden die Lippenbewegungen eines Sprechers während einer Äußerung aufgezeichnet und ausgewertet. Für jede Abfolge von Mundbewegungen wird eine grafische Darstellung möglicher Phoneme erzeugt, die zu den Mundbewegungen passen.

Eine Mundbewegung passt zu vielen Worten

Die Forscher um Sarah Taylor fanden heraus, dass zu einer Äußerung viele verschiedene Mundbewegungen passten: Sagt eine Person "clean swatches", könnte sie mit den gleichen Mundbewegungen auch "likes swats" oder "then swine" sagen. Nicht einmal die Zahl der Silben müsse übereinstimmen: Auch "need no pots" passt.

Die Auswertung der dynamischen Viseme produziere deutlich mehr Wortfolgen als die herkömmlichen Verfahren, die bestimmte Lippenbewegungen statisch bestimmten Lauten zuordnen, sagt Taylor. "Dynamische Viseme liefern ein genaueres Modell der visuellen Sprachartikulation als konventionelle Mundbewegungen und können visuell plausible phonetische Sequenzen mit einer viel größeren linguistischen Vielfalt erzeugen." Es ergeben sich also mehr Alternativen bei der Synchronisation eines Films oder eines Computerspiels.

Vieldeutigkeit macht Lippenlesen schwer

Umgekehrt zeige ihre Untersuchung auch, wie vieldeutig eine Spracherkennung auf der Basis einer visuellen Auswertung sei. Das sei für Hörbehinderte, die auf das Lippenlesen angewiesen sein, ein Nachteil. Ihr Projekt hingegen profitiere von dieser Vieldeutigkeit.

Taylor und ihre Kollegen wollen das Verfahren bei der IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) vorstellen. Die Konferenz findet in dieser Woche in Brisbane in Australien statt.


eye home zur Startseite
elf 20. Apr 2015

Ja, dann mach mal. Ist ja alles ganz einfach heutzutage... facepalm

lala1 20. Apr 2015

Ja das hat mir so viele Filme schon versaut ... ich schaue schon keine Filme mehr in...

triplekiller 20. Apr 2015

Mir macht es Spaß, auf die Fremdsprache eines übersetzen Films anhand Lippenbewegungen...

Dwalinn 20. Apr 2015

Ich habe in den anderen thread an etwas ähnliches gedacht^^ nur würde ich das über motion...



Anzeige

Stellenmarkt
  1. Scheer GmbH, Freiburg, Saarbrücken
  2. Fresenius Netcare GmbH, Bad Homburg
  3. DATAGROUP Köln GmbH, München
  4. Standard Life, Frankfurt am Main


Anzeige
Blu-ray-Angebote
  1. (u. a. Hobbit Trilogie Blu-ray 44,97€, Batman Dark Knight Trilogy Blu-ray 17,99€)
  2. (u. a. The Hateful 8 7,97€, The Revenant 8,97€, Interstellar 7,97€)
  3. (u. a. Supernatural, True Blood, Into the West, Perry Mason, Mord ist ihr Hobby)

Folgen Sie uns
       


  1. Classic Factory

    Elextra, der Elektro-Supersportwagen aus der Schweiz

  2. Docsis 3.1

    AVM arbeitet an 10-GBit/s-Kabelrouter

  3. Upspin

    Google-Angestellte basteln an globalem File-Sharing-System

  4. Apple Park

    Apple bezieht das Raumschiff

  5. Google Cloud Platform

    Tesla-Grafik für maschinelles Lernen verfügbar

  6. Ryzen

    AMDs Achtkern-CPUs sind schneller als erwartet

  7. Deutsche Glasfaser

    Gemeinde erreicht Glasfaser-Quote am letzten Tag

  8. Suchmaschine

    Google macht angepasste Site Search dicht

  9. Hawkspex mobile

    Diese App macht das Smartphone zum Spektrometer

  10. Asus Tinker Board im Test

    Buntes Lotterielos rechnet schnell



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Bundesnetzagentur: Puppenverbot gefährdet das Smart Home und Bastler
Bundesnetzagentur
Puppenverbot gefährdet das Smart Home und Bastler
  1. My Friend Cayla Eltern müssen Puppen ihrer Kinder zerstören
  2. Matoi Imagno Wenn die Holzklötzchen zu dir sprechen
  3. Smart Gurlz Programmieren lernen mit Puppen

Intel C2000: Weiter Unklarheit zur Häufung von NAS-Ausfällen
Intel C2000
Weiter Unklarheit zur Häufung von NAS-Ausfällen
  1. Super Bowl Lady Gaga singt unter einer Flagge aus Drohnen
  2. Lake Crest Intels Terminator-Chip mit Terabyte-Bandbreite
  3. Compute Card Intel plant Rechnermodul mit USB Type C

XPS 13 (9360) im Test: Wieder ein tolles Ultrabook von Dell
XPS 13 (9360) im Test
Wieder ein tolles Ultrabook von Dell
  1. Die Woche im Video Die Selbstzerstörungssequenz ist aktiviert
  2. XPS 13 Convertible im Hands on Dells 2-in-1 ist kompakter und kaum langsamer

  1. Re: damit ich nicht wieder reingelegt werde

    Seitan-Sushi-Fan | 01:36

  2. Drohnenvideo

    Der_Hausmeister | 01:34

  3. Re: bewerbungsfragen... mal zum self assessment. :-)

    amagol | 01:06

  4. Re: geschicktes Marketing

    ms (Golem.de) | 00:58

  5. Re: Warum der i3 ein Erfolg wird

    quasides | 00:58


  1. 18:05

  2. 16:33

  3. 16:23

  4. 16:12

  5. 15:04

  6. 15:01

  7. 14:16

  8. 13:04


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel