Abo
  • IT-Karriere:

Audio aus Video: Gefilmte Topfpflanze verrät Gespräche

Forschern ist es mit Hilfe eines neu entwickelten Algorithmus gelungen, aus gefilmten Topfpflanzen, Chipstüten oder einem Wasserglas im gleichen Raum geführte Gespräche zu rekonstruieren.

Artikel veröffentlicht am ,
Aus Videoaufnahmen von Chipstüten konnten MIT-Forscher Gespräche rekonstruieren.
Aus Videoaufnahmen von Chipstüten konnten MIT-Forscher Gespräche rekonstruieren. (Bild: MIT/Screenshot: Golem.de)

Forscher am MIT haben Chipstüten, Wassergläser oder Topfpflanzen durch schalldichtes Glas gefilmt, um anschließend mit Hilfe von Algorithmen aus den Vibrationen der Objekte Gespräche zu rekonstruieren. Für ihre Experimente nutzen sie Hochgeschwindigkeitskameras, mit herkömmlichen DSLRs mit 60 fps lässt sich immerhin das Geschlecht der Gesprächspartner ermitteln.

Stellenmarkt
  1. MVV Energie AG, Mannheim
  2. Allianz Deutschland AG, München, Unterföhring

Die Kamera wurde den Forschern zufolge etwa 4,5 Meter von dem zu filmenden Objekt aufgestellt. Die Aufnahmen erfolgten mit 2.000 bis 6.000 Bildern pro Sekunde. Bei einer genauen Rekonstruktion von Audio aus Video muss die Bildfrequenz nach einem Blogeintrag der Universität höher sein als die Tonfrequenz.

Dabei nutzen sie die Randpixel zwischen dem Objekt selbst und dem andersfarbigen Hintergrund. Je nach Vibration ändert sich die Sättigung der Farbe etwa eines lila Tons zwischen einem blauen Hintergrund und einem roten Objekt. Sie stützten sich dabei auf vergangene Forschung an Algorithmen, die für das menschliche Auge unsichtbare Teilbereiche von Videoaufnahmen so verstärken, dass sie wahrnehmbar sind. So kann beispielsweise der Puls eines Menschen dargestellt werden, indem sich der Farbton seiner Haut verändert.

Gesprächsanalyse bei 60 fps

Aus dieser Technik und einer Reihe anderer Bildfilter entwickelten die MIT-Forscher den Algorithmus, der die Bildfluktuationen an verschiedenen Stellen der aufgenommenen Chipstüte oder Zimmerpflanze verarbeitet und dabei die deutlichsten Stellen analysiert. Sie entwickelten den Algorithmus weiter, damit er auch bei einer konventionellen Bildrate von 60 fps interpretierbare Ergebnisse liefert.

Dabei nutzen sie eine Schwäche herkömmlicher DSLR-Kameras: Die einzelnen Pixel werden reihenweise ausgelesen. Bei sich schnell bewegenden Objekten können bereits dadurch Unterschiede im Video auftauchen, die normalerweise als störende Artefakte im Videomaterial erscheinen. Aus diesen können die Forscher zu einem gewissen Grad hochfrequente Bewegungen herausfiltern. Dadurch lassen sich aus Videoaufnahmen bei herkömmlichen 60 Bildern pro Sekunde immerhin die Anzahl der Gesprächsteilnehmer oder deren Geschlecht bestimmen, wenn auch nicht der genaue Inhalt der Gespräche.

Materialforschung und Patientenüberwachung

Auch wenn ihre Forschung vor allem Geheimdienste interessieren dürfte, heißt es in dem Blogeintrag, dass die Forscher sich einen Einsatz in der Materialforschung vorstellten, bei der Beobachtung von Maschinen oder Patienten im Krankenhaus. Ihre Forschung wollen Frédo Durand und Bill Freeman und ihre Helfer vom MIT auf der Siggraph 2014 vorstellen, der jährlichen Konferenz zu Computergrafik. Hilfe für ihre Forschung bekamen sie von Adobe und Microsoft.

Für das Aushorchen gibt es ohnehin die Lasermikrofone, die seit Jahren im Einsatz sind. Gegen sie und die vom MIT entwickelte Technik hilft indes nur eines - Vorhänge zuziehen.



Anzeige
Top-Angebote
  1. 339,00€
  2. 269,00€
  3. (u. a. Far Cry New Dawn für 19,99€, Ghost Recon Wildlands für 15,99€, Rayman Legends für 4...
  4. (u. a. PUBG für 13,99€, Final Fantasy XIV - Shadowbringers für 27,49€, Mordhau für 19,99€)

elgooG 06. Aug 2014

...nicht zu vergessen Folter durch Waterboarding und Düngerentzug.

Volvoracing 06. Aug 2014

Unter Umständen nicht zwingend erforderlich.

SpeakerSeeker 05. Aug 2014

Ja tut sie...ein Vorhang an der Außenseite würde jedoch helfen :-)

caldeum 05. Aug 2014

... wozu das Teil da ist: https://www.golem.de/news/star-citizen-die-49-millionen-us...

Checki 05. Aug 2014

Naja...man brauchst schon Videos in sehr guter Qualität. Aus einer grintigen...


Folgen Sie uns
       


LED-Projektor Viewsonic X10-4K - Test

Der Viewsonic X10-4K ist ein heller und farbtreuer 4K-Projektor - und kann einen Smart-TV ersetzen.

LED-Projektor Viewsonic X10-4K - Test Video aufrufen
Erneuerbare Energien: Die Energiewende braucht Wasserstoff
Erneuerbare Energien
Die Energiewende braucht Wasserstoff

Kein anderes Element ist so universell und dabei simpel aufgebaut wie Wasserstoff und das energiereiche Gas lässt sich aus fast jedem Energieträger gewinnen. Genauso vielseitig gestaltet sich seine Nutzung.
Ein Bericht von Jan Oliver Löfken

  1. Strom-Boje Mittelrhein Schwimmende Kraftwerke liefern Strom aus dem Rhein
  2. Speicherung von Überschussstrom Wasserstoff soll bei Engpässen helfen
  3. Energiewende DLR-Forscher bauen Kohlekraftwerke zu Stromspeichern um

iPad OS im Test: Apple entdeckt den USB-Stick
iPad OS im Test
Apple entdeckt den USB-Stick

Zusammen mit iOS 13 hat Apple eine eigene Version für seine iPads vorgestellt: iPad OS verbessert die Benutzung als Tablet tatsächlich, ein Notebook-Ersatz ist ein iPad Pro damit aber immer noch nicht. Apple bringt aber endlich Funktionen, die wir teilweise seit Jahren vermisst haben.
Ein Test von Tobias Költzsch

  1. Tablets Apple bringt neues iPad Air und iPad Mini
  2. Eurasische Wirtschaftskommission Apple registriert sieben neue iPads
  3. Apple Es ändert sich einiges bei der App-Entwicklung für das iPad

CO2-Emissionen und Lithium: Ist das Elektroauto wirklich ein Irrweg?
CO2-Emissionen und Lithium
Ist das Elektroauto wirklich ein Irrweg?

In den vergangenen Monaten ist die Kritik an batteriebetriebenen Elektroautos stärker geworden. Golem.de hat sich die Argumente der vielen Kritiker zur CO2-Bilanz und zum Rohstoff-Abbau einmal genauer angeschaut.
Eine Analyse von Friedhelm Greis

  1. Ari 458 Elektro-Lieferwagen aus Leipzig kostet knapp 14.000 Euro
  2. Nobe 100 Dreirädriges Retro-Elektroauto parkt senkrecht an der Wand
  3. Protean 360+ Neuer elektrischer Antrieb macht Kleinbusse extrem wendig

    •  /