• IT-Karriere:
  • Services:

Präsenz ist die neue Immersion: Die Zukunft von Virtual und Augmented Reality

Oculus Rift und Google Glass sind erst der Anfang, Eye Tracking zur Erfassung der Sehgrube, 3D-Sound und Gestenerkennung die nächsten Schritte. Head-mounted Displays nähern sich so den Augmented-Reality-Brillen wie Microsofts Hololens oder der von Magic Leap an.

Artikel von veröffentlicht am
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus.
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus. (Bild: Andreas Sebayang/Golem.de)

Vor fast zehn Jahren gab Epic-Games-Gründer Mark Rein ein denkwürdiges Zitat zu Protokoll: "Immer diese Leute, die sagen, es komme nicht auf die Grafik an. Das ist völliger Quatsch, es geht einzig und allein um die Grafik!" In Zukunft wird sich der Fokus zwar verschieben, heute macht die visuelle Qualität eines Spiels aber noch einen Großteil des Reizes aus. Da wundert es wenig, dass die Unreal Engine 4 von Epic Games den Grafikmotor für die Demos des Oculus-Rift-Prototyps Crescent Bay liefert.

Inhalt:
  1. Präsenz ist die neue Immersion: Die Zukunft von Virtual und Augmented Reality
  2. Vom 3D-Sound zur Gestenerkennung

Beim ersten Durchlauf ist die Optik der finalen Showdown-Demo, die Demo in Zeitlupe mit dem Monster-Roboter, beeindruckend, der Immersionsgrad wahnwitzig hoch. Spätestens beim dritten oder vierten Mal fällt aber auf, dass Oculus VR und Epic an allen Ecken und Enden tricksen müssen, damit die im Demosystem verbaute Geforce GTX 980 einigermaßen konstant die notwendigen 90 Bilder pro Sekunde für das 90-Hz-Display liefert.

Damit die Geforce GTX 980 flüssige Bildraten ausgibt, haben die Entwickler in der Showdown-Demo grundlegend mehrere Dinge getan (Powerpoint-Präsentation): Die globale Beleuchtung via Lightmass ist vorberechnet, es gibt maximal zwei dynamische Lichtquellen und die statischen Schatten sind simple Blobs ohne Spielereien wie sanft auslaufende Kanten.

Die Demo in Zeitlupe laufenzulassen, war übrigens keine Designentscheidung: In Echtzeit wäre die Anzahl der vom Prozessor pro Frame zu berechnenden Drawcalls viel zu hoch gewesen; knapp 2.500 Aufrufe waren weit mehr als das Doppelte dessen, was Epic benötigte. Da die Geforce-Grafikkarte die Mantle-API nicht unterstützt und Microsofts DX12 noch entwickelt wird, hat Epic viele Meshes kombiniert oder stark vereinfacht.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
Stellenmarkt
  1. Amprion GmbH, Pulheim-Brauweiler bei Köln
  2. Verwaltungs-Berufsgenossenschaft VBG gesetzliche Unfallversicherung, Hamburg

Dafür beherrscht die Maxwell-Grafikkarte den Asynchronous Time Warp: Der Rendering- und der Head-Tracking-Thread sind voneinander entkoppelt. Dadurch sinkt die Latenz und die Darstellung bleibt flüssig. Fällt die Bildrate unter 90 fps, rendert die Grafikeinheit kein neues Bild, sondern greift die Headtracking-Daten ab und interpoliert den letzten Frame perspektivisch auf Basis des Tiefenbuffers. Da der Eye-Render-Buffer verschoben wird, drittelt sich die benötigte Zeit verglichen mit einem gerenderten Frame. Zusammen mit Treiberoptimierungen soll sich die Latenz so bis zur Bildausgabe halbieren.

Die Grafikkarte muss in der Showdown-Demo besonders schwer arbeiten, denn zugunsten der für Virtual Reality wichtigen flimmerarmen Darstellung kommt 1,225-x-1,225-Supersampling-Kantenglättung (150 Prozent Screen Percentage) zum Einsatz. Das sind knapp ein Drittel mehr Pixel, als Epic Games für die Rift-Demo Couch Knight verwendet. Damit der Nutzer durch die Linsen ein für ihn normales Bild sieht, muss der Framebuffer verzerrt werden. Ergo liegt die Eye Render Buffer Resolution höher als die native Auflösung, bei 1.920 x 1.080 Pixeln sind das 2.364 x 1.461 Bildpunkte.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)

Zur Verdeutlichung: Die Geforce GTX 980 berechnet intern 1.790 x 1.448 Pixel doppelt, damit jedes Auge auf glattgebügelte 1.080 x 960 Bildpunkte blicken kann. Sollte das Display des Crescent Bay 1.440 x 1.280 Pixel pro Auge bieten, müsste die Geforce GTX 980 sogar jeweils 2.172 x 1.931 Bildpunkte doppelt durchschleusen. Das entspricht gut 8 Megapixeln, also Ultra-HD.

Eine Lösung, um künftig die Grafikqualität und die Geschwindigkeit zu steigern, ist Eye Tracking. Erste Head-mounted Displays wie das Fove unterstützen dies bereits. Der deutsche Hersteller SMI bietet ein entsprechendes Upgrade für das Rift Dev Kit 2 an, Sony nutzt Eye Tracking von SMI für eine spezielle Demo von Infamous Second Son und Nate Mitchell, Vice President of Product bei Oculus VR, sieht Eye Tracking für virtuelle Realitäten als absolut notwendig an.

Bei Eye Tracking erfassen mehrere Infrarotkameras die Pupillenbewegung der Augen. Das SDK wandelt diese in Koordinaten um. Schon mit vergleichsweise langsamem Tracking bei 50 Hz ist eine glaubwürdigere Tiefenwirkung möglich: Fokussierte Bereiche wie Gesichter werden scharf dargestellt, etwa in Spielen bei einem Gespräch mit mehreren Figuren, der Hintergrund hingegen verschwimmt im Bokeh. Mit einer nahezu latenzfreien Pupillenerfassung wird das Ziel greifbar: sogenanntes Foveated Rendering (PDF).

Die Fovea, zu Deutsch Sehgrube, bietet das beste Auflösungsvermögen, also die größte Schärfe des menschlichen Sehapparates. Ist durch Eye Tracking klar, worauf die Fovea gerade gerichtet ist, wird ein fingernagelgroßer Bereich mit höchster Qualität gerendert, während sie ringförmig immer weiter abnimmt. Laut Johan Andersson, Grafikchef der Frostbite-Engine, reicht es für ein tolles Ergebnis bereits, nur zwei Prozent aller Pixel mit bester Qualität darzustellen.

Die abnehmende Grafikqualität abseits der Sehgrube fällt dem menschlichen Auge tatsächlich kaum auf - außer, es sieht Bewegungen wie stark flimmernde Kanten oder heftiges Shader-Aliasing. Außerhalb der Fovea, also im peripheren Gesichtsfeld, muss die Bildqualität dennoch nicht allzu hoch sein.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Foveated Image (Bild: Wikipedia)

Unterm Strich benötigt eine hohe Bildqualität weniger Leistung als eine tolle Grafikqualität. Eye Tracking bietet dem Nutzer eines Head-mounted Displays somit ein besseres Erlebnis durch eine glaubwürdigere Tiefenwirkung, eine generell hübschere Optik und eine dennoch konstante Bildrate.

Nun ist der Mensch keineswegs auf die visuelle Wahrnehmung beschränkt, er begreift seine Umgebung zudem akustisch und haptisch. In beiden Bereichen forscht Oculus VR. Augmented-Reality-Firmen wie Microsoft oder Magic Leap jedoch sind einen Schritt weiter - denn die kommen ohne Kabel aus.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
Vom 3D-Sound zur Gestenerkennung 
  1. 1
  2. 2
  3.  


Anzeige
Top-Angebote
  1. gratis (bis zum 12. April)
  2. 799€ statt 934€ im Vergleich
  3. (Canon EOS 250D Spiegelreflexkamera, 24,1 Megapixel mit Objektiv 18-55 mm (7,7 cm Touchscreen...

spyro2000 30. Jan 2015

Bei der Vorstellung von Maxwell hat man zwar großspurig von "VR Direct", "VR SLI" und...

Nocta 29. Jan 2015

Haarspalterei?

Adabi 28. Jan 2015

Feature Connector auf der Grafikkarte mehr. Sie haben also dazu gelernt und über Facebook...

Hotohori 27. Jan 2015

Vor allem nervt mich die Egoshooter Fraktion, das Genre das nur mit VR Brille mit am...

Tmrn 27. Jan 2015

Ist es nicht irgendwie schade, dass überhaupt nur über proprietäre Windows-only APIs...


Folgen Sie uns
       


Golem.de baut die ISS aus Lego zusammen

Mit 864 Einzelteilen und rund 90 Minuten Bauzeit ist die Lego-ISS bei Weitem nicht so komplex wie ihr Vorbild.

Golem.de baut die ISS aus Lego zusammen Video aufrufen
Dell Ultrasharp UP3218K im Test: 8K ist es noch nicht wert
Dell Ultrasharp UP3218K im Test
8K ist es noch nicht wert

Alles fing so gut an: Der Dell Ultrasharp UP3218K hat ein schön gestochen scharfes 8K-Bild und einen erstklassigen Standfuß zu bieten. Dann kommen aber die Probleme, die beim Spiegelpanel anfangen und bis zum absurd hohen Preis reichen.
Von Oliver Nickel

  1. Dell Latitude 7220 im Test Das Rugged-Tablet für die Zombieapokalypse
  2. Dell Anleitung hilft beim Desinfizieren von Servern und Clients
  3. STG Partners Dell will RSA für 2 Milliarden US-Dollar verkaufen

Bodyhacking: Prothese statt Drehregler
Bodyhacking
Prothese statt Drehregler

Bertolt Meyer hat seine Handprothese mit einem Synthesizer verbunden - das Youtube-Video dazu hat viele interessiert. Wie haben mit dem Psychologieprofessor über sein Projekt und die Folgen des Videos gesprochen.
Ein Interview von Tobias Költzsch


    Buglas: Corona-Pandemie zeigt Notwendigkeit der Glasfaser
    Buglas
    Corona-Pandemie zeigt Notwendigkeit der Glasfaser

    Mehr Datenupload und Zunahme der Sprachtelefonie bringe die Netze unter Druck. FTTB/H-Betreiber bleiben gelassen.
    Eine Exklusivmeldung von Achim Sawall

    1. Coronavirus Österreich diskutiert verpflichtendes Tracking
    2. Coronavirus Funktion zur Netflix-Drosselung war längst geplant
    3. Coronakrise China will Elektroautoquote vorübergehend lockern

      •  /