Motion-Capturing

Bunte Handschuhe vor Webcam

Mit realen Händen virtuelle Gegenstände greifen - das ermöglicht das 3D-Gestenerkennungssystem, das zwei Wissenschaftler des Massachusetts Institute of Technology entwickelt haben. Die Ausrüstung ist unaufwendig: ein Paar bunte Handschuhe und eine Webcam.

Ein Paar bunte Handschuhe und eine handelsübliche Webcam sind alles, was ein Nutzer an Geräten braucht, um das Gestenerkennungssystem zu nutzen, das Robert Wang und Jovan Popovic vom Massachusetts Institute of Technology (MIT) entwickelt haben. Damit kann der Nutzer virtuelle Objekte greifen und mit ihnen interagieren.

Bunte Handschuhe

Die Handschuhe bestehen aus einem elastischen Material wie etwa Elastan. Sie sind mit 20 unregelmäßig geformten Flecken in zehn Farben bedruckt. Farben und Formen wurden dabei so gewählt, dass sich die beiden Handschuhe untereinander sowie Vorder- und Rückseite deutlich unterscheiden. Der Nutzer agiert vor der Kamera, die die Handschuhe aufnimmt und die Bilder an den Computer weiterleitet.

Das System isoliert die Hand vom Hintergrund und lässt sie vor einem weißen Hintergrund erscheinen. Die Software rechnet das Bild der Hand auf eine Größe von 40 x 40 Pixel herunter und vergleicht das niedrig aufgelöste Bild mit einer mehrere hundert MByte großen Datenbank, in der Modelle von Handstellungen gespeichert sind. Auf diese Weise erkennt das System die Ausrichtung und die Stellung von Hand und Fingern und übersetzt diese in Aktionen auf dem Bildschirm. Das geschieht beinahe in Echtzeit.

Reale Hand greift virtuelle Klötze

Der Nutzer kann beispielsweise nach kleinen virtuellen Klötzchen greifen, sie anfassen, drehen oder stapeln. Das System erkennt auch zwei Hände und kann ihre Aktionen umsetzen. Das demonstrieren die Entwickler in einer Anwendung, in der der Nutzer auf dem Bildschirm das virtuelle 3D-Modell einer Scheibenbremse auseinandernehmen kann.

Wang und Popovic hatten das System erstmals auf der Konferenz Siggraph im August 2009 vorgestellt, seither haben sie es weiterentwickelt. Die aktuelle Version funktioniert beispielsweise deutlich besser in einer sehr hellen Umgebung als die erste. Außerdem lässt sie sich schneller kalibrieren: Der Nutzer legt einfach ein etwa A4 großes Blatt Papier auf den Tisch vor die Kamera und platziert dann seine Hand darauf. Nach wenigen Sekunden ist das System einsatzbereit. Die alte Version brauchte dazu fast eine halbe Stunde.

Der Vorteil des Systems sei, dass es wenig Aufwand erfordere, sagen die Forscher. Ein Paar Elastan-Handschuhe koste in der Herstellung einen US-Dollar. Software und Datenbank liefen auf einem handelsüblichen Computer. Das System eigne sich deshalb auch für Computerspiele: Der Spieler könne damit in einer virtuellen Welt Gegenstände nehmen und benutzen. Eine andere mögliche Anwendung sei die Produktentwicklung, sagt Wang. Ein Designer könne ein 3D-Modell eines neuen Produktes erschaffen und damit interagieren.