Original-URL des Artikels: https://www.golem.de/news/virtual-und-augmented-reality-praesenz-ist-die-neue-immersion-1501-111949.html    Veröffentlicht: 27.01.2015 12:09    Kurz-URL: https://glm.io/111949

Präsenz ist die neue Immersion

Die Zukunft von Virtual und Augmented Reality

Oculus Rift und Google Glass sind erst der Anfang, Eye Tracking zur Erfassung der Sehgrube, 3D-Sound und Gestenerkennung die nächsten Schritte. Head-mounted Displays nähern sich so den Augmented-Reality-Brillen wie Microsofts Hololens oder der von Magic Leap an.

Vor fast zehn Jahren gab Epic-Games-Gründer Mark Rein ein denkwürdiges Zitat zu Protokoll: "Immer diese Leute, die sagen, es komme nicht auf die Grafik an. Das ist völliger Quatsch, es geht einzig und allein um die Grafik!" In Zukunft wird sich der Fokus zwar verschieben, heute macht die visuelle Qualität eines Spiels aber noch einen Großteil des Reizes aus. Da wundert es wenig, dass die Unreal Engine 4 von Epic Games den Grafikmotor für die Demos des Oculus-Rift-Prototyps Crescent Bay liefert.

Beim ersten Durchlauf ist die Optik der finalen Showdown-Demo, die Demo in Zeitlupe mit dem Monster-Roboter, beeindruckend, der Immersionsgrad wahnwitzig hoch. Spätestens beim dritten oder vierten Mal fällt aber auf, dass Oculus VR und Epic an allen Ecken und Enden tricksen müssen, damit die im Demosystem verbaute Geforce GTX 980 einigermaßen konstant die notwendigen 90 Bilder pro Sekunde für das 90-Hz-Display liefert.

Damit die Geforce GTX 980 flüssige Bildraten ausgibt, haben die Entwickler in der Showdown-Demo grundlegend mehrere Dinge getan (Powerpoint-Präsentation): Die globale Beleuchtung via Lightmass ist vorberechnet, es gibt maximal zwei dynamische Lichtquellen und die statischen Schatten sind simple Blobs ohne Spielereien wie sanft auslaufende Kanten.

Die Demo in Zeitlupe laufenzulassen, war übrigens keine Designentscheidung: In Echtzeit wäre die Anzahl der vom Prozessor pro Frame zu berechnenden Drawcalls viel zu hoch gewesen; knapp 2.500 Aufrufe waren weit mehr als das Doppelte dessen, was Epic benötigte. Da die Geforce-Grafikkarte die Mantle-API nicht unterstützt und Microsofts DX12 noch entwickelt wird, hat Epic viele Meshes kombiniert oder stark vereinfacht.

Dafür beherrscht die Maxwell-Grafikkarte den Asynchronous Time Warp: Der Rendering- und der Head-Tracking-Thread sind voneinander entkoppelt. Dadurch sinkt die Latenz und die Darstellung bleibt flüssig. Fällt die Bildrate unter 90 fps, rendert die Grafikeinheit kein neues Bild, sondern greift die Headtracking-Daten ab und interpoliert den letzten Frame perspektivisch auf Basis des Tiefenbuffers. Da der Eye-Render-Buffer verschoben wird, drittelt sich die benötigte Zeit verglichen mit einem gerenderten Frame. Zusammen mit Treiberoptimierungen soll sich die Latenz so bis zur Bildausgabe halbieren.

Die Grafikkarte muss in der Showdown-Demo besonders schwer arbeiten, denn zugunsten der für Virtual Reality wichtigen flimmerarmen Darstellung kommt 1,225-x-1,225-Supersampling-Kantenglättung (150 Prozent Screen Percentage) zum Einsatz. Das sind knapp ein Drittel mehr Pixel, als Epic Games für die Rift-Demo Couch Knight verwendet. Damit der Nutzer durch die Linsen ein für ihn normales Bild sieht, muss der Framebuffer verzerrt werden. Ergo liegt die Eye Render Buffer Resolution höher als die native Auflösung, bei 1.920 x 1.080 Pixeln sind das 2.364 x 1.461 Bildpunkte.

Zur Verdeutlichung: Die Geforce GTX 980 berechnet intern 1.790 x 1.448 Pixel doppelt, damit jedes Auge auf glattgebügelte 1.080 x 960 Bildpunkte blicken kann. Sollte das Display des Crescent Bay 1.440 x 1.280 Pixel pro Auge bieten, müsste die Geforce GTX 980 sogar jeweils 2.172 x 1.931 Bildpunkte doppelt durchschleusen. Das entspricht gut 8 Megapixeln, also Ultra-HD.

Eine Lösung, um künftig die Grafikqualität und die Geschwindigkeit zu steigern, ist Eye Tracking. Erste Head-mounted Displays wie das Fove unterstützen dies bereits. Der deutsche Hersteller SMI bietet ein entsprechendes Upgrade für das Rift Dev Kit 2 an, Sony nutzt Eye Tracking von SMI für eine spezielle Demo von Infamous Second Son und Nate Mitchell, Vice President of Product bei Oculus VR, sieht Eye Tracking für virtuelle Realitäten als absolut notwendig an.

Bei Eye Tracking erfassen mehrere Infrarotkameras die Pupillenbewegung der Augen. Das SDK wandelt diese in Koordinaten um. Schon mit vergleichsweise langsamem Tracking bei 50 Hz ist eine glaubwürdigere Tiefenwirkung möglich: Fokussierte Bereiche wie Gesichter werden scharf dargestellt, etwa in Spielen bei einem Gespräch mit mehreren Figuren, der Hintergrund hingegen verschwimmt im Bokeh. Mit einer nahezu latenzfreien Pupillenerfassung wird das Ziel greifbar: sogenanntes Foveated Rendering (PDF).

Die Fovea, zu Deutsch Sehgrube, bietet das beste Auflösungsvermögen, also die größte Schärfe des menschlichen Sehapparates. Ist durch Eye Tracking klar, worauf die Fovea gerade gerichtet ist, wird ein fingernagelgroßer Bereich mit höchster Qualität gerendert, während sie ringförmig immer weiter abnimmt. Laut Johan Andersson, Grafikchef der Frostbite-Engine, reicht es für ein tolles Ergebnis bereits, nur zwei Prozent aller Pixel mit bester Qualität darzustellen.

Die abnehmende Grafikqualität abseits der Sehgrube fällt dem menschlichen Auge tatsächlich kaum auf - außer, es sieht Bewegungen wie stark flimmernde Kanten oder heftiges Shader-Aliasing. Außerhalb der Fovea, also im peripheren Gesichtsfeld, muss die Bildqualität dennoch nicht allzu hoch sein.

Unterm Strich benötigt eine hohe Bildqualität weniger Leistung als eine tolle Grafikqualität. Eye Tracking bietet dem Nutzer eines Head-mounted Displays somit ein besseres Erlebnis durch eine glaubwürdigere Tiefenwirkung, eine generell hübschere Optik und eine dennoch konstante Bildrate.

Nun ist der Mensch keineswegs auf die visuelle Wahrnehmung beschränkt, er begreift seine Umgebung zudem akustisch und haptisch. In beiden Bereichen forscht Oculus VR. Augmented-Reality-Firmen wie Microsoft oder Magic Leap jedoch sind einen Schritt weiter - denn die kommen ohne Kabel aus.

Vom 3D-Sound zur Gestenerkennung

Ein Jahrzehnt vor Mark Reins Grafikaussage hatte der VR-Pionier Forte das VFX1 vorgestellt, eines der ersten bezahlbaren kommerziellen Head-mounted Displays. Seither sind 20 Jahre vergangen, aus 263 x 230 Pixeln pro Auge wurden 1.440 x 1.220 x pro Auge und das horizontale Sichtfeld hat sich ausgehend von 45 Grad mehr als verdoppelt. Forte aber war bereits 1994 klar: Überzeugende Grafik alleine reicht nicht, auch der Sound muss stimmen. Damals bediente sich der Hersteller zweier AKG-Kopfhörermuscheln. Oculus VR arbeitet mit der seit Jahrzehnten bekannten HRTF-Technik.

Die Head-related Transfer Function simuliert dreidimensionalen Raumklang auf Stereokopfhörern (Beispiel), ähnlich wie Dolby Headphone oder CMSS-3D von Creatives Audigy-Soundkarten. Gute Stereokopfhörer sind von der Tonqualität her solchen mit mehreren kleinen Treibern pro Muschel in der Regel weit überlegen, erreichen aber nicht die Qualität von räumlichen Lautsprechern.

HRTF versucht, das zu emulieren, was außer den Laufzeitunterschieden zwischen linkem und rechtem Ohr zur Ortung einer Schallquelle im Raum noch vom Menschen bewältigt wird. Sein Hörapparat bezieht auch Reflexionen und Frequenzänderungen an Ohrmuschel und Körper ein. Dabei werden Anteile eines Signals verstärkt oder gedämpft wahrgenommen, obwohl sie von der Schallquelle nicht so abgestrahlt wurden.

Durch Head Tracking konnte Oculus VR ein typisches Problem der HRTF weitgehend lösen: Die Ortung von Tönen, die von vorne oder hinten kommen, klappt viel besser. Da wir unseren Kopf ständig bewegen und sich rundherum Aberhunderte von Audiodaten befinden, sind unsere Ohrmuscheln immer an der richtigen Position.

Sofern die Hörer dicht anliegen, bietet Oculus VRs Crescent Bay einen exzellenten Raumklang: Wir hören Schotter unter unseren Füßen knirschen oder Raketen vorbeizischen. Selbst mit geschlossenen Augen können wir uns im virtuellen Raum orientieren - wie in echt. An diesem Punkt sprechen VR-Entwickler von Präsenz statt von Immersion: Wir fühlen uns in die virtuelle Welt versetzt, nehmen sie fast als real hin.

Das klappt besonders gut bei kleinen Geschichten, die uns die jeweilige Szene erzählt. Bei der Showdown-Demo befinden wir uns mitten in einem Gefecht in gerenderter UE4-Spielgrafik. Oculus VR hat aber auch die Filmindustrie im Blick. Das neu gegründete Story Studio zeigte auf dem Sundance Film Festival in Salt Lake City den "Lost" genannten Kurzfilm.

Die Geschichte rund um eine verlorene Roboterhand, die in einem nächtlichen Wald ihren gigantischen Besitzer sucht, wurde komplett per CGI gerendert. Ausgedacht hat sie sich Saschka Unseld, der zuvor acht Jahre bei Pixar arbeitete. Der Vorteil von Filmen: Sie sind immersiv, wenn wir uns in ihnen befinden, in einem gewissen Rahmen kann der Zuschauer sogar mit dem Film interagieren. Erst wenn er den Kopf zur Seite dreht, beginnt die Hand mit ihrer Suche. Unsere Hände hingegen sehen wir im Film nicht.

Bei Samsungs Gear VR können wir zwar die Passthrough-Kamera des darin steckenden Galaxy Note zuschalten und erblicken die Welt um uns zweidimensional. In die virtuelle Realität werden so aber weder Hände noch andere Objekte eingebunden, da die entsprechenden Sensoren fehlen. Forte löste dieses Problem vor 20 Jahren mit einem Gyroskop-Gamepad. Um eine Gestenerkennung zu gewährleisten, müssen am Head-mounted Display beispielsweise mehrere Infrarotkameras befestigt sein, welche die räumliche Tiefe messen. Leap Motion bietet ein passendes Modul für das Rift Dev Kit 2 an, Oculus VR hat vor einigen Wochen die an einer ähnlichen Technik arbeitende Firma Nimble VR übernommen.

Deren Sense genannte Gestenerkennung erfasst unsere Hände mittels Laufzeitverfahren: Eine Infrarot-LED schickt 45 Lichtimpulse pro Sekunde aus, die von Objekten zurückgeworfen werden. Je länger das Licht zurück zum Sensor benötigt, desto weiter sind beispielsweise die Hände entfernt. Interagieren klappt allerdings nur, wenn in der virtuellen Realität Objekte durch Gesten manipulierbar werden; das dürfte außer in Techdemos aber noch einige Zeit dauern. Was bereits funktioniert, sind in der echten Welt eingeblendete Hologramme, welche die Umgebung überlagern oder erweitern - Augmented Reality statt Virtual Reality.

Google hat zusammen mit Qualcomm sowie weiteren Investoren gut eine halbe Milliarde US-Dollar in ein Startup namens Magic Leap gesteckt. Die Firma forscht an einer AR-Brille, die mit einem Mikrolinsenraster arbeitet, das ein Lichtfeld erzeugt und mit vielen Sensoren wie einer Tiefenkamera ausgestattet ist. Mehr als Patente hat Magic Leap noch nicht öffentlich gezeigt. Diese beschreiben beispielsweise eine virtuelle Einkaufsliste im Supermarkt und eine Gestensteuerung, mit der bereits gekaufte Artikel gestrichen werden.

Microsoft ist bereits einen Schritt weiter und hat die Hololens vorgestellt. Die als Holographic Computer bezeichnete, drahtlose AR-Brille dürfte mit volumetrischen Displays. Wie bei Magic Leaps Projekt blickt der Nutzer durch Gläser, er sieht also ebenfalls die echte Welt. Mit einer Vielzahl an Kameras, Sensoren und integrierten Chips wie einem Cherry-Trail-SoC und der nicht näher definierten Holographic Processing Unit (HPU) blendet Hololens virtuelle Objekte in die Realität ein.

Das von Microsoft veröffentlichte Video weckt zumindest bei uns hohe Erwartungen, die wahrscheinlich nicht erfüllt werden: Per Fingerschnippen soll an einer kahlen Küchenwand die Übertragung eines Fußballspiels auf einer virtuellen Leinwand erscheinen, mit einer Pinch-Zoom-Geste oder per Sprachkommando vergrößert der Nutzer der Hololens die Darstellung. Weitere Beispiele sind Minecraft auf der Sofalandschaft und die Entwicklung von Objekten per Holostudio, die anschließend der 3D-Drucker ausspuckt.

Wie überzeugend diese Augmented Reality tatsächlich wird, hängt von vielen Faktoren ab: Die Gestenunterstützung, die Positionierung im Raum und die akustische Wahrnehmung müssen glaubwürdig sein. Das gilt auch und insbesondere für die visuelle Darstellung, denn was sagte Mark Rein doch gleich? Richtig, auf die Grafik kommt es eben doch an.  (ms)


Verwandte Artikel:
Oculus Rift: Zertifikat legt virtuelle Realität lahm   
(08.03.2018, https://glm.io/133213 )
Spielzeug: Laser Tag mit Harry-Potter-Zauberstäben   
(19.02.2018, https://glm.io/132843 )
Eyetracking: Apple soll brandenburgische Firma Sensomotoric gekauft haben   
(27.06.2017, https://glm.io/128595 )
HTC Vive Pro ausprobiert: Ohne Anlauf, Tor!   
(28.02.2018, https://glm.io/133025 )
Wirtschaft: HTC entlässt Mitarbeiter wegen Umstrukturierung   
(26.02.2018, https://glm.io/132986 )

© 1997–2020 Golem.de, https://www.golem.de/