Handpose: Microsoft entwickelt Kinect für die Hand

Handpose (Bild: Microsoft)

Microsoft Research hat mit Handpose eine Gestenerkennung für die Hand entwickelt, die so detailliert arbeitet, dass sogar subtile Bewegungen erkannt werden. Als Kamerabasis kann eine Microsoft Kinect dienen, doch das System arbeitet wesentlich präziser.

Die Zeichen von Gebärdensprachlern lassen sich zwar über Videokonferenzsysteme problemlos übertragen, doch eine Art optische Zeichenerkennung würde helfen, die Gesten auch in schriftliche Form übersetzen zu können. Den Grundbaustein für ein solches System haben Forscher von Microsoft mit Handpose entwickelt.

Dabei handelt es sich um ein Motion-Tracking-System, das die Bewegungen der Hände erkennen kann. Handpose ist darauf angelegt, auch dann zu funktionieren, wenn sich der Benutzer im Raum bewegt. Es erkennt auch kleine, subtile Bewegungen der Hand, obwohl es letztlich auf der Kameratechnik basiert, die auch bei der Kinect eingesetzt wird. Die Kinect ermöglicht zwar ebenfalls das Erkennen von Körpern und deren Bewegungen, arbeitet jedoch wesentlich gröber. Microsofts Handpose verwendet bei der Handerkennung eine Kombination aus Maschinenlernen und einem 3D-Handmodell, mit dem die Bilder abgeglichen werden.

Microsofts Forscher betonen, dass Handpose nicht nur für die Erkennung von Gebärdensprache interessant sei, sondern für alle Anwendungen, in denen der Benutzer die Tastatur nicht benutzen könne oder wolle. So könnten Büroarbeiter mit einer Handgeste E-Mails durchgehen und sortieren. Roboter und Maschinen ließen sich mit einfachen Kommandos statt mit Tastendrücken oder Joysticks dirigieren. Auch in VR-Anwendungen und Spielen könnte Handpose zum Einsatz kommen.

Die Hand und ihre Bewegungen zu erkennen, ist aufgrund der Größe des Objekts aber auch wegen ihrer Flexibilität und Schnelligkeit deutlich schwerer als beispielsweise ein Motion-Tracking, das nur grob den gesamten Körper berücksichtigt.

Microsoft hat Handpose auf der "Conference on Human Factors in Computing Systems" (CHI) in Seoul vorgestellt und einen wissenschaftlichen Aufsatz dazu veröffentlicht.