Bi-Di-Screen: Der Bildschirm erkennt Gesten

Flüssigkristallbildschirm wird zum optischen Sensor

Steuerung per Gesten und Multitouch ist seit dem iPhone der Renner. Forscher vom MIT haben jetzt ein Gestenteuerungssystem für Flüssigkristallbildschirme entwickelt, das ohne Berührung funktioniert.

Artikel veröffentlicht am 15. Dezember 2009, 9:31 Uhr, Werner Pluta

Wissenschaftler am Massachusetts Institute of Technology (MIT) haben ein neuartiges System entwickelt, um Computer mit Gesten zu steuern. Die Gesten werden von optischen Sensoren aufgenommen, die im Bildschirm integriert sind.

Bildschirm zeigt und sieht

Das System, das Matthew Hirsch, Ramesh Raskar, Henry Holtzman und Douglas Lanman ersonnen haben, basiert auf einer Anordnung von Flüssigkristallen wie in einem Flüssigkristallbildschirm (Liquid Crystal Display, LCD). Hinter diesen Kristallen ist eine Anordnung von optischen Sensoren angebracht, die Bewegungen erkennen. Bi-directional Screen, kurz Bi-Di-Screen, haben die Wissenschaftler das System genannt, das sie auf der Siggraph Asia vorstellen wollen, die diese Woche im japanischen Yokohama stattfindet.

Video: Bi-Di-Screen - Gestensteurung ohne Berührung (5:36) Alle Videos auf Golem.de

Der Bildschirm arbeitet in zwei verschiedenen Modi: Im Wechsel zeigt er den normalen Bildschirminhalt und ein Schwarz-Weiß-Muster, durch das Licht auf die Sensoren fällt. Lanman vergleicht diese Anordnung mit einer Lochmaske, die vor die Sensoren gehalten wird: Licht fällt durch die Löcher auf die Sensoren und ergibt so Bilder mit einer niedrigen Auflösung. Jedes dieser Bilder wird aus einem etwas anderen Winkel aufgenommen. Aus diesen Bildern könne dann die Position eines Objekts im Raum vor dem Bildschirm, etwa eines Fingers, errechnet werden. Die Bewegungen des Objektes werden dann in Steuersignale umgesetzt. Der Wechsel der beiden Modi erfolgt dabei so schnell, dass das Auge diesen gar nicht wahrnimmt.

Bildschirm zeigt und sieht

Die Wissenschaftler haben mehrere Möglichkeiten zur Interaktion erdacht: Der Nutzer kann mit einem Objekt auf dem Bildschirm interagieren. Dazu muss er es aktivieren, indem er es antippt. Dann kann er das Objekt in verschiedene Richtungen drehen, indem er die Hand nach links, rechts, oben oder unten bewegt. Zieht er die Hand vom Bildschirm weg, wird das Objekt größer. Bewegt er sie darauf zu, wird es kleiner. Will er die Interaktion beenden, tippt er wieder auf das Objekt und deaktiviert es.

Eine andere Form der Interaktion ist die Navigation durch eine virtuelle Welt mit der Bewegung der Hand. In einem dritten Szenario haben die Wissenschaftler dreidimensionale virtuelle Objekte mit einer virtuellen Lichtquelle, die sie vor dem Bildschirm bewegt haben, beleuchtet.

Bi-Di, Second Light und Natal

Nun ist eine Steuerung mit Gesten vor dem Bildschirm nichts komplett Neues. Microsoft hat beispielsweise die Systeme Natal und Second Light entwickelt. Der Vorteil des Bi-Di-Screen gegenüber Natal sei die Zahl der Sensoren: Natal verfügt nur über einen optischen Sensor. Dadurch habe das System einen toten Winkel, wenn der Nutzer nahe vor dem Bildschirm gestikuliere. Den habe ihr System nicht, weshalb ein nahtloser Übergang von Gestensteuerung zum Touchscreen möglich sei, sagt Hirsch. Bei Second Light hingegen sei die Kamera weiter weg, dafür werde der Bildschirm dicker. Ihr System zur Gestensteuerung soll aber auch in flache LCDs eingebaut werden können.