Smartphone als Fenster ins Holodeck

Erweiterte Realität mixt Video und 3D-Model samt Bewegungsverfolgung

Daniel Wagner, Doktorand an der Technischen Universität Graz, hat mit "AR on Smartphone" ein Projekt vorgestellt, das mit der Videokamera eines Smartphones virtuelle Realität, Echtzeitaufnahmen und Bewegungserfassung miteinander in Echtzeit kombiniert.

Das Augmented Reality (AR) Projekt, eine erweiterte Darstellung der Realität, erlaubt es, mit der Kamera in einem Smartphone einen Gegenstand aufzunehmen und eine virtuelle 3D-Figur ins Handy-Display einzublenden. Doch damit nicht genug: Bewegt man das Handy um diese Figur herum, kann man sie von allen Seiten betrachten - als ob sie wirklich existiert.

Handheld Augmented Reality Project

Das Handheld AR wurde als Technologie-Demonstration auf einem i-mate SP5 gezeigt. Zuvor hatte man es für WindowsCE-PDAs entwickelt. Die erreichte Framerate mit dem i-mate SP5 liegt den Angaben Wagners zufolge bei 11 bis 12 Bildern pro Sekunde. Das Smartphone wurde dazu nicht verändert - es wurde lediglich in die Lage versetzt, unsignierte Software auszuführen.

Verwendet wurden die Eigenentwicklungen DSVideoCE für das Auslesen des Videobildes und die Konvertierung des Videoformates. Für die Bewegungsverfolgung wurde das ARToolKitPlus sowie Klimt für das Rendern des 3D-Modells genutzt. DSVideoCE ist noch nicht öffentlich verfügbar.

Zur näheren Erläuterung hat Daniel Wagner ein Video ins Netz gestellt, mit dem das Ergebnis demonstriert wird.