Anzeige
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus.
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus. (Bild: Andreas Sebayang/Golem.de)

Präsenz ist die neue Immersion: Die Zukunft von Virtual und Augmented Reality

Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus.
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus. (Bild: Andreas Sebayang/Golem.de)

Oculus Rift und Google Glass sind erst der Anfang, Eye Tracking zur Erfassung der Sehgrube, 3D-Sound und Gestenerkennung die nächsten Schritte. Head-mounted Displays nähern sich so den Augmented-Reality-Brillen wie Microsofts Hololens oder der von Magic Leap an.

Anzeige

Vor fast zehn Jahren gab Epic-Games-Gründer Mark Rein ein denkwürdiges Zitat zu Protokoll: "Immer diese Leute, die sagen, es komme nicht auf die Grafik an. Das ist völliger Quatsch, es geht einzig und allein um die Grafik!" In Zukunft wird sich der Fokus zwar verschieben, heute macht die visuelle Qualität eines Spiels aber noch einen Großteil des Reizes aus. Da wundert es wenig, dass die Unreal Engine 4 von Epic Games den Grafikmotor für die Demos des Oculus-Rift-Prototyps Crescent Bay liefert.

Beim ersten Durchlauf ist die Optik der finalen Showdown-Demo, die Demo in Zeitlupe mit dem Monster-Roboter, beeindruckend, der Immersionsgrad wahnwitzig hoch. Spätestens beim dritten oder vierten Mal fällt aber auf, dass Oculus VR und Epic an allen Ecken und Enden tricksen müssen, damit die im Demosystem verbaute Geforce GTX 980 einigermaßen konstant die notwendigen 90 Bilder pro Sekunde für das 90-Hz-Display liefert.

Damit die Geforce GTX 980 flüssige Bildraten ausgibt, haben die Entwickler in der Showdown-Demo grundlegend mehrere Dinge getan (Powerpoint-Präsentation): Die globale Beleuchtung via Lightmass ist vorberechnet, es gibt maximal zwei dynamische Lichtquellen und die statischen Schatten sind simple Blobs ohne Spielereien wie sanft auslaufende Kanten.

Die Demo in Zeitlupe laufenzulassen, war übrigens keine Designentscheidung: In Echtzeit wäre die Anzahl der vom Prozessor pro Frame zu berechnenden Drawcalls viel zu hoch gewesen; knapp 2.500 Aufrufe waren weit mehr als das Doppelte dessen, was Epic benötigte. Da die Geforce-Grafikkarte das Mantle-API nicht unterstützt und Microsofts DX12 noch entwickelt wird, hat Epic viele Meshes kombiniert oder stark vereinfacht.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)

Dafür beherrscht die Maxwell-Grafikkarte den Asynchronous Time Warp: Der Rendering- und der Head-Tracking-Thread sind voneinander entkoppelt. Dadurch sinkt die Latenz und die Darstellung bleibt flüssig. Fällt die Bildrate unter 90 fps, rendert die Grafikeinheit kein neues Bild, sondern greift die Headtracking-Daten ab und interpoliert den letzten Frame perspektivisch auf Basis des Tiefenbuffers. Da der Eye-Render-Buffer verschoben wird, drittelt sich die benötigte Zeit verglichen mit einem gerenderten Frame. Zusammen mit Treiberoptimierungen soll sich die Latenz so bis zur Bildausgabe halbieren.

Die Grafikkarte muss in der Showdown-Demo besonders schwer arbeiten, denn zugunsten der für Virtual Reality wichtigen flimmerarmen Darstellung kommt 1,225-x-1,225-Supersampling-Kantenglättung (150 Prozent Screen Percentage) zum Einsatz. Das sind knapp ein Drittel mehr Pixel, als Epic Games für die Rift-Demo Couch Knight verwendet. Damit der Nutzer durch die Linsen ein für ihn normales Bild sieht, muss der Framebuffer verzerrt werden. Ergo liegt die Eye Render Buffer Resolution höher als die native Auflösung, bei 1.920 x 1.080 Pixeln sind das 2.364 x 1.461 Bildpunkte.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)

Zur Verdeutlichung: Die Geforce GTX 980 berechnet intern 1.790 x 1.448 Pixel doppelt, damit jedes Auge auf glattgebügelte 1.080 x 960 Bildpunkte blicken kann. Sollte das Display des Crescent Bay 1.440 x 1.280 Pixel pro Auge bieten, müsste die Geforce GTX 980 sogar jeweils 2.172 x 1.931 Bildpunkte doppelt durchschleusen. Das entspricht gut 8 Megapixeln, also Ultra-HD.

Eine Lösung, um künftig die Grafikqualität und die Geschwindigkeit zu steigern, ist Eye Tracking. Erste Head-mounted Displays wie das Fove unterstützen dies bereits. Der deutsche Hersteller SMI bietet ein entsprechendes Upgrade für das Rift Dev Kit 2 an, Sony nutzt Eye Tracking von SMI für eine spezielle Demo von Infamous Second Son und Nate Mitchell, Vice President of Product bei Oculus VR, sieht Eye Tracking für virtuelle Realitäten als absolut notwendig an.

Bei Eye Tracking erfassen mehrere Infrarotkameras die Pupillenbewegung der Augen. Das SDK wandelt diese in Koordinaten um. Schon mit vergleichsweise langsamem Tracking bei 50 Hz ist eine glaubwürdigere Tiefenwirkung möglich: Fokussierte Bereiche wie Gesichter werden scharf dargestellt, etwa in Spielen bei einem Gespräch mit mehreren Figuren, der Hintergrund hingegen verschwimmt im Bokeh. Mit einer nahezu latenzfreien Pupillenerfassung wird das Ziel greifbar: sogenanntes Foveated Rendering (PDF).

Die Fovea, zu Deutsch Sehgrube, bietet das beste Auflösungsvermögen, also die größte Schärfe des menschlichen Sehapparates. Ist durch Eye Tracking klar, worauf die Fovea gerade gerichtet ist, wird ein fingernagelgroßer Bereich mit höchster Qualität gerendert, während sie ringförmig immer weiter abnimmt. Laut Johan Andersson, Grafikchef der Frostbite-Engine, reicht es für ein tolles Ergebnis bereits, nur zwei Prozent aller Pixel mit bester Qualität darzustellen.

Die abnehmende Grafikqualität abseits der Sehgrube fällt dem menschlichen Auge tatsächlich kaum auf - außer, es sieht Bewegungen wie stark flimmernde Kanten oder heftiges Shader-Aliasing. Außerhalb der Fovea, also im peripheren Gesichtsfeld, muss die Bildqualität dennoch nicht allzu hoch sein.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Foveated Image (Bild: Wikipedia)

Unterm Strich benötigt eine hohe Bildqualität weniger Leistung als eine tolle Grafikqualität. Eye Tracking bietet dem Nutzer eines Head-mounted Displays somit ein besseres Erlebnis durch eine glaubwürdigere Tiefenwirkung, eine generell hübschere Optik und eine dennoch konstante Bildrate.

Nun ist der Mensch keineswegs auf die visuelle Wahrnehmung beschränkt, er begreift seine Umgebung zudem akustisch und haptisch. In beiden Bereichen forscht Oculus VR. Augmented-Reality-Firmen wie Microsoft oder Magic Leap jedoch sind einen Schritt weiter - denn die kommen ohne Kabel aus.

Vom 3D-Sound zur Gestenerkennung 

eye home zur Startseite
spyro2000 30. Jan 2015

Bei der Vorstellung von Maxwell hat man zwar großspurig von "VR Direct", "VR SLI" und...

Nocta 29. Jan 2015

Haarspalterei?

Adabi 28. Jan 2015

Feature Connector auf der Grafikkarte mehr. Sie haben also dazu gelernt und über Facebook...

Hotohori 27. Jan 2015

Vor allem nervt mich die Egoshooter Fraktion, das Genre das nur mit VR Brille mit am...

Tmrn 27. Jan 2015

Ist es nicht irgendwie schade, dass überhaupt nur über proprietäre Windows-only APIs...

Kommentieren



Anzeige

  1. Trainee (m/w) IT-Anwendungen
    Süwag Energie AG, Frankfurt am Main
  2. IT Infrastruktur Support (m/w)
    RATIONAL AG, Landsberg am Lech
  3. NetCracker Senior Architect / Designer OSS (m/w)
    T-Systems International GmbH, Berlin
  4. Professional IT Consultant Automotive Marketing und Sales (m/w)
    T-Systems International GmbH, Leinfelden-Echterdingen

Detailsuche



Anzeige
Top-Angebote
  1. Fallout 4 Uncut USK 18 - PS4
    24,99€ inkl. Versand
  2. Fallout 4 Uncut USK 18 - Xbox One
    24,99€ inkl. Versand
  3. World of Warcraft - PC
    4,99€ inkl. Versand

Weitere Angebote


Folgen Sie uns
       


  1. Section Control

    Bremsen vor Blitzern soll nicht mehr vor Bußgeld schützen

  2. Beam

    ISS-Modul erfolgreich aufgeblasen

  3. Arbeitsbedingungen

    Apple-Store-Mitarbeiterin gewährt Blick hinter die Kulissen

  4. Modulares Smartphone

    Project-Ara-Ideengeber hat von Google mehr erwartet

  5. Telekom-Konzernchef

    "Vectoring schafft Wettbewerb"

  6. Model S

    Teslas Autopilot verursacht Auffahrunfall

  7. Security

    Microsoft will Passwort 'Passwort' verbieten

  8. Boston Dynamics

    Google will Roboterfirma an Toyota verkaufen

  9. Oracle-Anwältin nach Niederlage

    "Google hat die GPL getötet"

  10. Selbstvermessung

    Jawbone steigt offenbar aus Fitnesstracker-Geschäft aus



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Oracle vs. Google: Wie man Geschworene am besten verwirrt
Oracle vs. Google
Wie man Geschworene am besten verwirrt
  1. Java-Rechtsstreit Oracle verliert gegen Google
  2. Oracle vs. Google Wie viel Fair Use steckt in 11.000 Codezeilen?

GPD XD im Test: Zwischen Nintendo 3DS und PS Vita ist noch Platz
GPD XD im Test
Zwischen Nintendo 3DS und PS Vita ist noch Platz
  1. Xbox Scorpio Schneller als Playstation Neo und mit Rift-Unterstützung
  2. Playstation 4 Rennstart für Gran Turismo Sport im November 2016
  3. AMD Drei Konsolen-Chips für 2017 angekündigt

Intels Compute Stick im Test: Der mit dem Lüfter streamt (2)
Intels Compute Stick im Test
Der mit dem Lüfter streamt (2)
  1. Stratix 10 MX Alteras Chips nutzen HBM2 und Intels Interposer-Technik
  2. Apple Store Apple darf keine Geschäfte in Indien eröffnen
  3. HBM2 eSilicon zeigt 14LPP-Design mit High Bandwidth Memory

  1. Re: Was würde passieren

    Steggesepp | 13:35

  2. mal angenommen, die T. verzichtet auf indoor...

    postb1 | 13:35

  3. Es geht um UK. Wie sieht es mit DE aus?

    SkynetworX | 13:35

  4. Re: Viel zu hohe Erwartungen seitens des Ideengebers

    HerrHerger | 13:33

  5. Re: bald haben wir die DAUs auf der Straße

    Berner Rösti | 13:33


  1. 12:45

  2. 12:12

  3. 11:19

  4. 09:44

  5. 14:15

  6. 13:47

  7. 13:00

  8. 12:30


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel