Abo
  • Services:
Anzeige
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

Synchronisation: Disney lernt Lippenlesen

Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen.
Dynamische Viseme: Nicht einmal die Zahl der Silben muss stimmen. (Bild: Disney Research)

"Cheese" formen die Lippen der in die Kamera grinsenden Schauspieler, doch "Käsekuchen" sagen die Synchronsprecher: Solche Ungereimtheiten bei der Synchronisation können nerven. Mit einem System zum Lippenlesen will Disney das verbessern.

Anzeige

"Verpiss Dich", sagt der Hauptdarsteller des ausländischen Films. Doch seine Lippen formen ganz andere Laute - "Fuck off" etwa. Eine solche Synchronisation kann dem Zuschauer das Filmvergnügen schon deutlich schmälern. Forscher von Disney Research haben ein Verfahren entwickelt, das eine bessere Synchronisation ermöglichen soll.

Das Verfahren basiert auf einer dynamischen Analyse von Mundbildern - im Englischen Viseme genannt, in Anlehnung an Phonem. Dabei werden die Lippenbewegungen eines Sprechers während einer Äußerung aufgezeichnet und ausgewertet. Für jede Abfolge von Mundbewegungen wird eine grafische Darstellung möglicher Phoneme erzeugt, die zu den Mundbewegungen passen.

Eine Mundbewegung passt zu vielen Worten

Die Forscher um Sarah Taylor fanden heraus, dass zu einer Äußerung viele verschiedene Mundbewegungen passten: Sagt eine Person "clean swatches", könnte sie mit den gleichen Mundbewegungen auch "likes swats" oder "then swine" sagen. Nicht einmal die Zahl der Silben müsse übereinstimmen: Auch "need no pots" passt.

Die Auswertung der dynamischen Viseme produziere deutlich mehr Wortfolgen als die herkömmlichen Verfahren, die bestimmte Lippenbewegungen statisch bestimmten Lauten zuordnen, sagt Taylor. "Dynamische Viseme liefern ein genaueres Modell der visuellen Sprachartikulation als konventionelle Mundbewegungen und können visuell plausible phonetische Sequenzen mit einer viel größeren linguistischen Vielfalt erzeugen." Es ergeben sich also mehr Alternativen bei der Synchronisation eines Films oder eines Computerspiels.

Vieldeutigkeit macht Lippenlesen schwer

Umgekehrt zeige ihre Untersuchung auch, wie vieldeutig eine Spracherkennung auf der Basis einer visuellen Auswertung sei. Das sei für Hörbehinderte, die auf das Lippenlesen angewiesen sein, ein Nachteil. Ihr Projekt hingegen profitiere von dieser Vieldeutigkeit.

Taylor und ihre Kollegen wollen das Verfahren bei der IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) vorstellen. Die Konferenz findet in dieser Woche in Brisbane in Australien statt.


eye home zur Startseite
elf 20. Apr 2015

Ja, dann mach mal. Ist ja alles ganz einfach heutzutage... facepalm

lala1 20. Apr 2015

Ja das hat mir so viele Filme schon versaut ... ich schaue schon keine Filme mehr in...

triplekiller 20. Apr 2015

Mir macht es Spaß, auf die Fremdsprache eines übersetzen Films anhand Lippenbewegungen...

Dwalinn 20. Apr 2015

Ich habe in den anderen thread an etwas ähnliches gedacht^^ nur würde ich das über motion...



Anzeige

Stellenmarkt
  1. Robert Bosch GmbH, Ditzingen, Stuttgart-Weilimdorf
  2. Robert Bosch Starter Motors Generators GmbH, Schwieberdingen
  3. operational services GmbH & Co. KG, Stuttgart
  4. Daimler AG, Stuttgart


Anzeige
Blu-ray-Angebote
  1. (u. a. Der Hobbit 3, Der Polarexpress, Ice Age, Pan, Life of Pi)
  2. (u. a. Die große Bud Spencer-Box Blu-ray 16,97€, Club der roten Bänder 1. Staffel Blu-ray 14...
  3. (u. a. Apollo 13, Insidious, Horns, King Kong, E.T. The Untouchables, Der Sternwanderer)

Folgen Sie uns
       


  1. Online-Hundefutter

    150.000 Euro Strafe wegen unerlaubter Telefonwerbung

  2. Huawei

    Vectoring mit 300 MBit/s wird in Deutschland angewandt

  3. The Dash

    Bragi bekommt Bluetooth-Probleme nicht in den Griff

  4. Bugs in Encase

    Mit dem Forensik-Tool die Polizei hacken

  5. Autonomes Fahren

    Verbraucherschützer fordern "Algorithmen-TÜV"

  6. The Last Guardian im Test

    Gassi gehen mit einem computergesteuerten Riesenbiest

  7. E-Sport

    Cheats und Bots in Südkorea offenbar gesetzlich verboten

  8. Videocodecs

    Netflix nutzt VP9-Codec für Offlinemodus

  9. Kosmobits im Test

    Tausch den Spielecontroller gegen einen Mikrocontroller!

  10. Open Data

    Daten für den Schweizer Verkehr werden frei veröffentlicht



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Oculus Touch im Test: Tolle Tracking-Controller für begrenzte Roomscale-Erfahrung
Oculus Touch im Test
Tolle Tracking-Controller für begrenzte Roomscale-Erfahrung
  1. Microsoft Oculus Rift bekommt Kinomodus für Xbox One
  2. Gestensteuerung Oculus Touch erscheint im Dezember für 200 Euro
  3. Facebook Oculus zeigt drahtloses VR-Headset mit integriertem Tracking

Canon EOS 5D Mark IV im Test: Grundsolides Arbeitstier mit einer Portion Extravaganz
Canon EOS 5D Mark IV im Test
Grundsolides Arbeitstier mit einer Portion Extravaganz
  1. Video Youtube spielt Livestreams in 4K ab
  2. Ausgabegeräte Youtube unterstützt Videos mit High Dynamic Range
  3. Canon EOS M5 Canons neue Systemkamera hat einen integrierten Sucher

Named Data Networking: NDN soll das Internet revolutionieren
Named Data Networking
NDN soll das Internet revolutionieren
  1. Geheime Überwachung Der Kanarienvogel von Riseup singt nicht mehr
  2. Bundesförderung Bundesländer lassen beim Breitbandausbau Milliarden liegen
  3. Internet Protocol Der Adresskollaps von IPv4 kann verzögert werden

  1. Re: Und dann ist es vorbei ...

    Tomek_ | 16:46

  2. Re: Bullshit!

    martin28 | 16:45

  3. Klar, und der TÜV prüft dann Millionen Zeilen AI...

    Sinnfrei | 16:38

  4. Re: OT: Oneplus One

    Häxler | 16:37

  5. Re: Einsatzmöglichkeiten?

    TheUnichi | 16:37


  1. 16:42

  2. 15:05

  3. 14:54

  4. 14:50

  5. 14:14

  6. 14:00

  7. 13:56

  8. 13:30


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel