Project Gameface: Android-Apps könnten bald per Mimik gesteuert werden
Google hat Project Gameface als Open Source veröffentlicht(öffnet im neuen Fenster) .
Das im Jahr 2023 auf der Google I/O vorgestellte Projekt ermöglicht eine Steuerung über die Kamera des Smartphones, wobei der Cursor und andere Elemente über den Blick, Kopfbewegungen oder per Mimik, etwa das Hochziehen der Augenbrauen, gesteuert werden. App-Entwickler können die Funktionen ab sofort integrieren.
Anders als der Name des Projekts suggeriert, soll die Funktion nicht nur in Spielen zum Einsatz kommen. Als Teil der Bedienungshilfen könne die Steuerung über die Mimik auch in anderen Bereichen genutzt werden, um zusätzliche Funktionen zu bieten oder Nutzern mit körperlichen Einschränkungen die Bedienung zu erleichtern oder überhaupt erst zu ermöglichen, hieß es.
Abgleich mit Gestendatenbank erlaubt Verknüpfung mit UI-Aktionen
Project Gameface nutzt dazu neben der Erfassung über die Kamera die Face-Landmarks-API von Mediapipe. Darüber lassen sich Gesichtsausdrücke und Bewegungen einem Muster zuordnen.
So kann beispielsweise eine hochgezogene Augenbraue erkannt und mit einem Klick verknüpft werden. Auch das Öffnen des Mundes lässt sich erfassen und einer Funktion zuordnen.
Das Projekt wurde durch den gelähmten Streamer Lance Carr inspiriert(öffnet im neuen Fenster) , der unter einer Form von Muskeldystrophie leidet. Gemeinsam mit Google will er eine kostengünstige Form der Steuerung entwickeln, die es ihm und anderen ermöglicht, Computer und Mobilgeräte möglichst vollständig zu nutzen. Andere Kopf- und Bewegungssteuerungen sind teilweise sehr teuer und zudem häufig speziell für einen Nutzer angepasst.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.