Augmented Reality: Microsoft Mesh ist eine Art Holodeck für Hololens 2

In digitalen Räumen sollen Avatare echter Personen miteinander interagieren können. Kern der Technik ist Microsofts AR-Headset Hololens 2.

Artikel veröffentlicht am 3. März 2021, 16:51 Uhr, Oliver Nickel

Microsoft Mesh zeigt mehreren Teilnehmern ein konsistentes digitales Bild an. (Bild: Microsoft)

Microsoft Mesh ist die neue Kollaborationsplattform des Unternehmens, bei der virtuelle Meetings und das Mixed-Reality-Headset Hololens 2 im Mittelpunkt stehen. Das Ziel soll es sein, dass Menschen sich von ihrem Standort aus virtuell in Meetings oder Events einwählen und dort mit anderen Mesh-Usern interagieren können.

In der Grundform sollen dabei Personen im virtuellen Raum als digitale Avatare dargestellt werden. Mittels Software führen diese Gesten und Mimiken aus, die von den jeweiligen Trägern der Hololens 2 und dessen Controllern stammen.

Virtueller Teleport in Gruppenmeetings

Allerdings geht Microsoft noch einen Schritt weiter und stellt sich vor, komplette 3D-Aufnahmen des eigenen Körpers in den virtuellen Raum zu rendern. Das Unternehmen nennt diesen Vorgang Holoportation. Das dürfte neben Hololens 2 aber weitere externe Kameras oder Sensoren erfordern.

So einfach ist das allerdings nicht. Mesh muss etwa diverse Methoden einführen, möglichst viele Endgeräte gleichzeitig zu unterstützen. Mittels Holographic Rendering sollen etwa je nach Leistungsbudget der berechnenden Hardware - also etwa ein Notebook, ein Smartphone oder ein Workstation-Computer - passende Avatare und Szenen generiert werden, die je nach Ausstattung im Detailgrad variieren.

Per Multiuser Sync und mittels Spatial Maps muss das Framework das zentrale holografische Element für alle Teilnehmer im virtuellen Meeting synchronisieren und für jede Person im Raum relativ zu ihrer Position berechnen und rendern. Das gilt auch für die Positionsberechnung von Avataren untereinander. Das zentrale Element kann beispielsweise eine digitale Maschine oder ein virtuelles Modell sein, vor dem Meetingteilnehmer stehen. Der Gedanke dabei ist, dass alle Teilnehmer ein identisches Bild mit ihrer Hololens sehen und dieses Bild konsistent über alle Clients synchronisiert wird.

Microsoft will für all diese Dienste eine Entwicklungsplattform inklusive UX-Konstrukten und einem Mesh-SDK anbieten. Darauf sollen dann sogenannte Mesh-Enabled-Apps aufbauen. Eines dieser Programme ist die Hololens Mesh App. Auch soll das Programm AltspaceVR für Mesh angepasst werden.