3D-Videos: MIT-Software erzeugt 3D-Fußballvideos aus 2D-Bildern

Dreidimensionale Fußballvideos erstellt ein Algorithmus, den MIT-Forscher entwickelt haben. Er überlagert 2D-Bilder mit 3D-Bildern, wobei letztere aus einem Computerspiel stammen.

Artikel veröffentlicht am 9. November 2015, 19:00 Uhr, Werner Pluta

Fußball wird dreidimensional (Symbolbild). (Bild: MIT)

Aus 2D mach 3D: Forscher aus den USA und dem arabischen Emirat Katar haben eine Technik entwickelt, um herkömmliche zweidimensionale Videoaufnahmen von Fußballspielen in dreidimensionale zu konvertieren. Das System nutzt ein Werkzeug aus einem Computerspiel: die Software Pix von Microsoft, die bei der Entwicklung von Spiel Fifa 13 zum Einsatz kam.

Spiele wie Fifa 13 beinhalten detaillierte 3D-Karten der Spieleumgebung, in diesem Fall eben eines Fußballfeldes. Während der Spieler seine Figur über das Feld laufen lässt, passt das Spiel die Karte entsprechend an und erzeugt aus der 3D-Szene eine 2D-Ansicht.

Pix nimmt Screenshots auf

Diese Funktion machten sich die Forscher des Massachusetts Institute of Technology (MIT) und des Qatar Computing Research Institute (QCRI) zunutze - indem sie zunächst Fifa 13 spielten, dabei mit Hilfe des Analysewerkzeugs Pix kontinuierlich Screenshots ihrer Aktionen aufnahmen. Aus den Screenshots extrahierten sie die entsprechende 3D-Ansicht.

Aus diesen Screenshots ließen sie zudem einen Standardalgorithmus zum Vergleich von Bildern diejenigen heraussuchen, die die Blickwinkel und die Spielerpositionen am besten abbildeten. Diese legten sie zusammen mit den dazugehörigen 3D-Ansichten in einer Datenbank ab.

Algorithmus sucht Screenshots zu Videobildern

Der Algorithmus durchsucht dann in einem 2D-Video eines Fußballspiels für jedes Einzelbild die Datenbank nach rund zehn passenden Screenshots. Diese wiederum zerlegt er noch einmal, wobei er nach Übereinstimmungen zwischen Details in den Videobildern und den Screenshots sucht. Findet der Algorithmus diese Übereinstimmungen, legt er die zu den Screenshots dazugehörigen Tiefeninformationen über das 2D-Bild und erzeugt so ein 3D-Videobild.

Die Ergebnisse sind nach Angaben der Forscher recht überzeugend. Es treten praktisch keine Artefakte in den 3D-Bildern auf. Allerdings dauert es etwa eine Drittelsekunde, um ein 2D-Bild aus dem Video in ein 3D-Bild zu wandeln. Da die Einzelbilder parallel verarbeitet werden, bleibt es aber dabei. Wird bei einer Übertragung eine Verzögerung von ein bis zwei Sekunden eingeplant, sollte das als Zwischenspeicher für ein ruckelfreies Bild ausreichen.

Die 3D-Bilder können auf 3D-fähigen Fernsehen oder auf VR-Brille betrachtet werden - sei es ein Oculus Rift oder ein Cardboard mit einem Smartphone darin.