Virtual Projection iPhone als virtueller Beamer

Das Smartphone als Eingabegerät und Beamer für digitale Oberflächen: Wissenschaftler wollen mit der Virtual Projection neue Möglichkeiten für die Präsentation und Interaktion bieten.

Auf dem Smartphone gespeicherte Bilder, Videos und Texte könnten künftig ohne Probleme auf größeren Displays präsentiert und wie eine Projektion verschoben, gedreht oder skaliert werden - einfach indem das Smartphone als virtueller Beamer vor das entsprechende Display gehalten wird. Das soll auch mit mehreren Smartphones parallel funktionieren.

An ihrer Virtual Projection arbeiten Dominikus Baur, Sebastian Boring und Steven Feiner, Wissenschaftler der Ludwig-Maximilians-Universität München, der University of Calgary und der Columbia University. Sie demonstrieren das mit einem iPhone, obwohl das Verfahren auch mit beliebigen anderen Smartphones funktionieren soll, vorausgesetzt sie sind mit einer Kamera und einer passenden App bestückt.

Unkomplizierte Verbindung

Ein aufwendiges Verbinden von Smartphone und Display soll dem Nutzer bei der virtuellen Projektion erspart bleiben. Stattdessen soll automatisch erkannt werden, vor welchem externen Display sich das Smartphone befindet. Die Wissenschaftler nutzen dazu die Kamera des iPhones, um mit ihr den Bildausschnitt des Displays aufzunehmen, vor den das Smartphone gehalten wird.

Die Videodaten wertet ein Bilderkennungsserver aus, der die Bildinhalte des mit ihm vernetzten Displays kennt und sie mit den Kamerabildern vergleicht. So wird nicht nur die Positionierung des Smartphones zum Display ermittelt und entsprechend die Größe und Ausrichtung der virtuellen Projektion angepasst, sondern auch erkannt, vor welches Display es gerade gehalten wird. Damit könnte die virtuelle Projektion auch mit dem Nutzer über mehrere Displays mitwandern.

Neue Möglichkeiten

Dabei geht die virtuelle Projektion weit über das hinaus, was mit einem echten Projektor möglich ist. Es würden sich zwar wie beim Vorbild Bilder und Landkarten vergrößert auf anderen Bildschirmen anzeigen lassen, sagte Dominikus Baur Golem.de. Da jedoch alles nur simuliert sei, könnten beispielsweise die Projektionen auf dem Display geparkt oder mehrere Projektionen gleichzeitig angezeigt werden. Im Video der Wissenschaftler ist zudem zu sehen, wie das iPhone-Display als virtuelle Lupe für eine Landkarte auf dem großen Display eingesetzt wird.

Virtual Projection (Youtube/Screenshot: Golem.de)

Die Wissenschaftler glauben, dass ihre Virtual Projection künftig von allen Smartphones und Displays unterstützt werden wird. Sie sehen ein großes Potenzial vor allem im geschäftlichen Bereich, wo Menschen die Zusammenarbeit erleichtert werden könnte. Das Forschungsprojekt Virtual Projection soll im Mai 2012 auf der CHI-Konferenz in Austin, Texas, vorgestellt werden.

Nachtrag vom 19. Januar 2012, 17:55 Uhr

Baur hat Golem.de noch einige Details zur technischen Umsetzung genannt: "Ein Rechner fungiert als Server, der regelmäßig Screenshots aller angeschlossenen Displays für die Vergleiche macht. Wir arbeiten mit der hinteren Kamera des iPhones, die permanent Fotos aufnimmt, diese herunterskaliert (im Augenblick arbeiten wir mit 320-x-240-Pixel-Bildern) und dann per WLAN (54 Mbps) an den Server schickt."

Auf dem Server werden dann mit dem Bildanalyse-Algorithmus Surf die iPhone-Fotos mit allen vorhandenen Screenshots abgeglichen. Mit Zeitstempeln wird dafür gesorgt, dass auch die richtigen Fotos mit den richtigen Screenshots verglichen werden. Baur: "[...] daher funktioniert unser Verfahren auch auf bewegten Bildern wie Videos."

"Insgesamt kommen wir auf circa 10 Frames/s für die Bildübertragung (das ist die Grenze des WLAN-Chips im iPhone) und 8 Frames/s für das Tracking auf dem Server (mit einem schnelleren Rechner ließe sich das wohl lösen - die Messungen stammen von einem Macbook Pro, 2.4 GHz Core Duo)", erklärt Baur. Durch das Verfahren ergebe sich auch eine Verzögerung von 100 bis 130 Millisekunden.

"Insgesamt macht der Server also fast alles, das iPhone selbst nimmt nur Fotos auf", so der deutsche Wissenschaftler. "Daher ließe sich das System auch problemlos auf andere Smartphone-Betriebssysteme portieren - Fotos machen können eigentlich alle."