Interactive Dynamic Video: Forscher erwecken Objekte in normalen Videos zum Leben

Mit einem Algorithmus können Wissenschaftler des MIT anhand feinster Bewegungen und Vibrationen in Videos leblose Objekte dynamisch auf Eingaben reagieren lassen. Spezielle Aufnahmegeräte sind nicht nötig - die Technik funktioniert theoretisch mit jedem Videomaterial.

Artikel veröffentlicht am 4. August 2016, 13:05 Uhr, Tobias Költzsch

Ein Algorithmus analysiert verschiedene Vibrationsfrequenzen und errechnet basierend darauf ein Bewegungsmodell. (Bild: MIT)

Forscher vom Computer Science and Artificial Intelligence Laboratory (CSAIL) des Massachusetts Institute of Technology (MIT) haben einen Weg gefunden, mit der aus gewöhnlichem Videomaterial ein Film mit interaktiven, dynamischen Elementen wird. Die Wissenschaftler nennen ihre Technologie entsprechend "Interactive Dynamic Video", kurz: IDV.

Grundgedanke ist, aus den natürlichen Bewegungen eines Objektes im Film - hier reichen auch Vibrationen - mit Hilfe eines Algorithmus ein Bewegungsmodell dessen zu erstellen. Die minimalen Bewegungen, die etwa eine kleine Drahtskulptur macht, wenn der Tisch unter ihr erschüttert wird, reichen aus, um auch größere Bewegungen vorauszusagen.

Neue Interaktionen zwischen Objekten möglich

Im fertigen IDV können dann Objekte außerhalb ihres ursprünglich aufgezeichneten Zustandes animiert werden. Die durch die Bewegungen ausgelösten Bildänderungen werden vom Algorithmus berechnet, was in einem gewissen Rahmen noch realistisch aussieht.

In einem Video zeigen die Macher von IDV etwa, wie sie besagte Drahtskulptur aufgrund eines nur fünfsekündigen Ursprungsvideos realistisch animieren können. Ein anderes Beispiel ist ein einminütig gefilmter Busch oder eine Hängebrücke auf einem Spielplatz.

Als Einsatzzweck können sich die Wissenschaftler unter anderem Gebäudesimulationen in bestimmten Stresssituationen, wie etwa Erdbeben, vorstellen. Ein anderes Einsatzgebiet liegt im Entertainmentbereich: So könnten etwa Interaktionen zwischen virtuellen Figuren und der realen Welt deutlich kostengünstiger und einfacher als bisher erstellt werden.