Audio aus Video: Gefilmte Topfpflanze verrät Gespräche

Forschern ist es mit Hilfe eines neu entwickelten Algorithmus gelungen, aus gefilmten Topfpflanzen, Chipstüten oder einem Wasserglas im gleichen Raum geführte Gespräche zu rekonstruieren.

Artikel veröffentlicht am ,
Aus Videoaufnahmen von Chipstüten konnten MIT-Forscher Gespräche rekonstruieren.
Aus Videoaufnahmen von Chipstüten konnten MIT-Forscher Gespräche rekonstruieren. (Bild: MIT/Screenshot: Golem.de)

Forscher am MIT haben Chipstüten, Wassergläser oder Topfpflanzen durch schalldichtes Glas gefilmt, um anschließend mit Hilfe von Algorithmen aus den Vibrationen der Objekte Gespräche zu rekonstruieren. Für ihre Experimente nutzen sie Hochgeschwindigkeitskameras, mit herkömmlichen DSLRs mit 60 fps lässt sich immerhin das Geschlecht der Gesprächspartner ermitteln.

Stellenmarkt
  1. Senior Associate Project Manager m/w/d
    NTT Germany AG & Co. KG, Bad Homburg
  2. Agile Coach (all Genders)
    ALLPLAN GmbH, München
Detailsuche

Die Kamera wurde den Forschern zufolge etwa 4,5 Meter von dem zu filmenden Objekt aufgestellt. Die Aufnahmen erfolgten mit 2.000 bis 6.000 Bildern pro Sekunde. Bei einer genauen Rekonstruktion von Audio aus Video muss die Bildfrequenz nach einem Blogeintrag der Universität höher sein als die Tonfrequenz.

Dabei nutzen sie die Randpixel zwischen dem Objekt selbst und dem andersfarbigen Hintergrund. Je nach Vibration ändert sich die Sättigung der Farbe etwa eines lila Tons zwischen einem blauen Hintergrund und einem roten Objekt. Sie stützten sich dabei auf vergangene Forschung an Algorithmen, die für das menschliche Auge unsichtbare Teilbereiche von Videoaufnahmen so verstärken, dass sie wahrnehmbar sind. So kann beispielsweise der Puls eines Menschen dargestellt werden, indem sich der Farbton seiner Haut verändert.

Gesprächsanalyse bei 60 fps

Aus dieser Technik und einer Reihe anderer Bildfilter entwickelten die MIT-Forscher den Algorithmus, der die Bildfluktuationen an verschiedenen Stellen der aufgenommenen Chipstüte oder Zimmerpflanze verarbeitet und dabei die deutlichsten Stellen analysiert. Sie entwickelten den Algorithmus weiter, damit er auch bei einer konventionellen Bildrate von 60 fps interpretierbare Ergebnisse liefert.

Golem Karrierewelt
  1. Adobe Premiere Pro Grundkurs: virtueller Zwei-Tage-Workshop
    27./28.10.2022, Virtuell
  2. Deep Dive: Data Governance Fundamentals: virtueller Ein-Tages-Workshop
    30.11.2022, Virtuell
Weitere IT-Trainings

Dabei nutzen sie eine Schwäche herkömmlicher DSLR-Kameras: Die einzelnen Pixel werden reihenweise ausgelesen. Bei sich schnell bewegenden Objekten können bereits dadurch Unterschiede im Video auftauchen, die normalerweise als störende Artefakte im Videomaterial erscheinen. Aus diesen können die Forscher zu einem gewissen Grad hochfrequente Bewegungen herausfiltern. Dadurch lassen sich aus Videoaufnahmen bei herkömmlichen 60 Bildern pro Sekunde immerhin die Anzahl der Gesprächsteilnehmer oder deren Geschlecht bestimmen, wenn auch nicht der genaue Inhalt der Gespräche.

Materialforschung und Patientenüberwachung

Auch wenn ihre Forschung vor allem Geheimdienste interessieren dürfte, heißt es in dem Blogeintrag, dass die Forscher sich einen Einsatz in der Materialforschung vorstellten, bei der Beobachtung von Maschinen oder Patienten im Krankenhaus. Ihre Forschung wollen Frédo Durand und Bill Freeman und ihre Helfer vom MIT auf der Siggraph 2014 vorstellen, der jährlichen Konferenz zu Computergrafik. Hilfe für ihre Forschung bekamen sie von Adobe und Microsoft.

Für das Aushorchen gibt es ohnehin die Lasermikrofone, die seit Jahren im Einsatz sind. Gegen sie und die vom MIT entwickelte Technik hilft indes nur eines - Vorhänge zuziehen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


elgooG 06. Aug 2014

...nicht zu vergessen Folter durch Waterboarding und Düngerentzug.

Volvoracing 06. Aug 2014

Unter Umständen nicht zwingend erforderlich.

SpeakerSeeker 05. Aug 2014

Ja tut sie...ein Vorhang an der Außenseite würde jedoch helfen :-)

caldeum 05. Aug 2014

... wozu das Teil da ist: https://www.golem.de/news/star-citizen-die-49-millionen-us...



Aktuell auf der Startseite von Golem.de
Gene Roddenberrys andere Sci-Fi-Stoffe
Neben Star Trek leider fast vergessen

Der Name Gene Roddenberry steht vor allem für Star Trek. Nach dem Ende der klassischen Serie hat er aber noch andere Science-Fiction-Stoffe entwickelt.
Von Peter Osteried

Gene Roddenberrys andere Sci-Fi-Stoffe: Neben Star Trek leider fast vergessen
Artikel
  1. Carsten Spohr: Lufthansa-Chef wird Opfer eigener Sicherheitslücke
    Carsten Spohr
    Lufthansa-Chef wird Opfer eigener Sicherheitslücke

    Unbekannte haben einen QR-Code auf einem Boardingpass von Lufthansa-Chef Carsten Spohr ausgelesen und auf persönliche Daten zugreifen können.

  2. Illegales Streaming: House of Dragons bei Piraten beliebter als Ringe der Macht
    Illegales Streaming
    House of Dragons bei Piraten beliebter als Ringe der Macht

    Das Game-of-Thrones-Prequel hat mehr Zuschauer als die neue Herr-der-Ringe-Serie - zumindest via Bittorrent.

  3. Showcar: Renault 5 Turbo 3E kommt als Driftauto mit Elektromotoren
    Showcar
    Renault 5 Turbo 3E kommt als Driftauto mit Elektromotoren

    Renault hat sich zum 50. Geburtstag des Renault 5 den R5 Turbo 3E einfallen lassen. Das Showcar mit zwei E-Motoren ist wie gemacht zum Driften.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • CyberWeek: Bis -53% auf Gaming-Zubehör und bis -45% auf PC-Audio • Crucial 16-GB-Kit DDR5-4800 69,99€ • Crucial P2 1 TB 67,90€ • MindStar (u. a. Intel Core i5-12600 239€ und Fastro 2-TB-SSD 128€) • Logitech G Pro Gaming Keyboard 77,90€ • Apple iPhone 12 64 GB 659€ [Werbung]
    •  /