Abo
  • Services:
Anzeige
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus.
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus. (Bild: Andreas Sebayang/Golem.de)

Präsenz ist die neue Immersion: Die Zukunft von Virtual und Augmented Reality

Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus.
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus. (Bild: Andreas Sebayang/Golem.de)

Oculus Rift und Google Glass sind erst der Anfang, Eye Tracking zur Erfassung der Sehgrube, 3D-Sound und Gestenerkennung die nächsten Schritte. Head-mounted Displays nähern sich so den Augmented-Reality-Brillen wie Microsofts Hololens oder der von Magic Leap an.

Vor fast zehn Jahren gab Epic-Games-Gründer Mark Rein ein denkwürdiges Zitat zu Protokoll: "Immer diese Leute, die sagen, es komme nicht auf die Grafik an. Das ist völliger Quatsch, es geht einzig und allein um die Grafik!" In Zukunft wird sich der Fokus zwar verschieben, heute macht die visuelle Qualität eines Spiels aber noch einen Großteil des Reizes aus. Da wundert es wenig, dass die Unreal Engine 4 von Epic Games den Grafikmotor für die Demos des Oculus-Rift-Prototyps Crescent Bay liefert.

Anzeige

Beim ersten Durchlauf ist die Optik der finalen Showdown-Demo, die Demo in Zeitlupe mit dem Monster-Roboter, beeindruckend, der Immersionsgrad wahnwitzig hoch. Spätestens beim dritten oder vierten Mal fällt aber auf, dass Oculus VR und Epic an allen Ecken und Enden tricksen müssen, damit die im Demosystem verbaute Geforce GTX 980 einigermaßen konstant die notwendigen 90 Bilder pro Sekunde für das 90-Hz-Display liefert.

Damit die Geforce GTX 980 flüssige Bildraten ausgibt, haben die Entwickler in der Showdown-Demo grundlegend mehrere Dinge getan (Powerpoint-Präsentation): Die globale Beleuchtung via Lightmass ist vorberechnet, es gibt maximal zwei dynamische Lichtquellen und die statischen Schatten sind simple Blobs ohne Spielereien wie sanft auslaufende Kanten.

Die Demo in Zeitlupe laufenzulassen, war übrigens keine Designentscheidung: In Echtzeit wäre die Anzahl der vom Prozessor pro Frame zu berechnenden Drawcalls viel zu hoch gewesen; knapp 2.500 Aufrufe waren weit mehr als das Doppelte dessen, was Epic benötigte. Da die Geforce-Grafikkarte die Mantle-API nicht unterstützt und Microsofts DX12 noch entwickelt wird, hat Epic viele Meshes kombiniert oder stark vereinfacht.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)

Dafür beherrscht die Maxwell-Grafikkarte den Asynchronous Time Warp: Der Rendering- und der Head-Tracking-Thread sind voneinander entkoppelt. Dadurch sinkt die Latenz und die Darstellung bleibt flüssig. Fällt die Bildrate unter 90 fps, rendert die Grafikeinheit kein neues Bild, sondern greift die Headtracking-Daten ab und interpoliert den letzten Frame perspektivisch auf Basis des Tiefenbuffers. Da der Eye-Render-Buffer verschoben wird, drittelt sich die benötigte Zeit verglichen mit einem gerenderten Frame. Zusammen mit Treiberoptimierungen soll sich die Latenz so bis zur Bildausgabe halbieren.

Die Grafikkarte muss in der Showdown-Demo besonders schwer arbeiten, denn zugunsten der für Virtual Reality wichtigen flimmerarmen Darstellung kommt 1,225-x-1,225-Supersampling-Kantenglättung (150 Prozent Screen Percentage) zum Einsatz. Das sind knapp ein Drittel mehr Pixel, als Epic Games für die Rift-Demo Couch Knight verwendet. Damit der Nutzer durch die Linsen ein für ihn normales Bild sieht, muss der Framebuffer verzerrt werden. Ergo liegt die Eye Render Buffer Resolution höher als die native Auflösung, bei 1.920 x 1.080 Pixeln sind das 2.364 x 1.461 Bildpunkte.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)

Zur Verdeutlichung: Die Geforce GTX 980 berechnet intern 1.790 x 1.448 Pixel doppelt, damit jedes Auge auf glattgebügelte 1.080 x 960 Bildpunkte blicken kann. Sollte das Display des Crescent Bay 1.440 x 1.280 Pixel pro Auge bieten, müsste die Geforce GTX 980 sogar jeweils 2.172 x 1.931 Bildpunkte doppelt durchschleusen. Das entspricht gut 8 Megapixeln, also Ultra-HD.

Eine Lösung, um künftig die Grafikqualität und die Geschwindigkeit zu steigern, ist Eye Tracking. Erste Head-mounted Displays wie das Fove unterstützen dies bereits. Der deutsche Hersteller SMI bietet ein entsprechendes Upgrade für das Rift Dev Kit 2 an, Sony nutzt Eye Tracking von SMI für eine spezielle Demo von Infamous Second Son und Nate Mitchell, Vice President of Product bei Oculus VR, sieht Eye Tracking für virtuelle Realitäten als absolut notwendig an.

Bei Eye Tracking erfassen mehrere Infrarotkameras die Pupillenbewegung der Augen. Das SDK wandelt diese in Koordinaten um. Schon mit vergleichsweise langsamem Tracking bei 50 Hz ist eine glaubwürdigere Tiefenwirkung möglich: Fokussierte Bereiche wie Gesichter werden scharf dargestellt, etwa in Spielen bei einem Gespräch mit mehreren Figuren, der Hintergrund hingegen verschwimmt im Bokeh. Mit einer nahezu latenzfreien Pupillenerfassung wird das Ziel greifbar: sogenanntes Foveated Rendering (PDF).

Die Fovea, zu Deutsch Sehgrube, bietet das beste Auflösungsvermögen, also die größte Schärfe des menschlichen Sehapparates. Ist durch Eye Tracking klar, worauf die Fovea gerade gerichtet ist, wird ein fingernagelgroßer Bereich mit höchster Qualität gerendert, während sie ringförmig immer weiter abnimmt. Laut Johan Andersson, Grafikchef der Frostbite-Engine, reicht es für ein tolles Ergebnis bereits, nur zwei Prozent aller Pixel mit bester Qualität darzustellen.

Die abnehmende Grafikqualität abseits der Sehgrube fällt dem menschlichen Auge tatsächlich kaum auf - außer, es sieht Bewegungen wie stark flimmernde Kanten oder heftiges Shader-Aliasing. Außerhalb der Fovea, also im peripheren Gesichtsfeld, muss die Bildqualität dennoch nicht allzu hoch sein.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Foveated Image (Bild: Wikipedia)

Unterm Strich benötigt eine hohe Bildqualität weniger Leistung als eine tolle Grafikqualität. Eye Tracking bietet dem Nutzer eines Head-mounted Displays somit ein besseres Erlebnis durch eine glaubwürdigere Tiefenwirkung, eine generell hübschere Optik und eine dennoch konstante Bildrate.

Nun ist der Mensch keineswegs auf die visuelle Wahrnehmung beschränkt, er begreift seine Umgebung zudem akustisch und haptisch. In beiden Bereichen forscht Oculus VR. Augmented-Reality-Firmen wie Microsoft oder Magic Leap jedoch sind einen Schritt weiter - denn die kommen ohne Kabel aus.

Vom 3D-Sound zur Gestenerkennung 

eye home zur Startseite
spyro2000 30. Jan 2015

Bei der Vorstellung von Maxwell hat man zwar großspurig von "VR Direct", "VR SLI" und...

Nocta 29. Jan 2015

Haarspalterei?

Adabi 28. Jan 2015

Feature Connector auf der Grafikkarte mehr. Sie haben also dazu gelernt und über Facebook...

Hotohori 27. Jan 2015

Vor allem nervt mich die Egoshooter Fraktion, das Genre das nur mit VR Brille mit am...

Tmrn 27. Jan 2015

Ist es nicht irgendwie schade, dass überhaupt nur über proprietäre Windows-only APIs...



Anzeige

Stellenmarkt
  1. time:matters GmbH, Neu-Isenburg
  2. MBtech Group GmbH & Co. KGaA, Neutraubling, Regensburg
  3. Robert Bosch GmbH, Stuttgart
  4. Hisense Europe Research & Development Center GmbH, Düsseldorf


Anzeige
Top-Angebote
  1. 49,97€
  2. 110,00€

Folgen Sie uns
       


  1. Autonomes Fahren

    Suchmaschinenkonzern Yandex baut fahrerlosen Bus

  2. No Man's Sky

    Steam wehrt sich gegen Erstattungen

  3. Electronic Arts

    Battlefield 1 setzt Gold, aber nicht Plus voraus

  4. Kaby Lake

    Intel stellt neue Chips für Mini-PCs und Ultrabooks vor

  5. Telefonnummern für Facebook

    Threema profitiert von Whatsapp-Datenaustausch

  6. Browser

    Google Cast ist nativ in Chrome eingebaut

  7. Master of Orion im Kurztest

    Geradlinig wie der Himmelsäquator

  8. EU-Kommission

    Apple soll 13 Milliarden Euro an Steuern nachzahlen

  9. Videocodec

    Für Netflix ist H.265 besser als VP9

  10. Weltraumforschung

    DFKI-Roboter soll auf dem Jupitermond Europa abtauchen



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
­Cybersyn: Chiles Traum von der computergesteuerten Planwirtschaft
­Cybersyn
Chiles Traum von der computergesteuerten Planwirtschaft
  1. Linux Kernel-Sicherheitsinitiative wächst "langsam aber stetig"
  2. Power9 IBMs 24-Kern-Chip kann 8 TByte RAM pro Sockel nutzen
  3. Adecco IBM will Helpdesk-Geschäft in Erfurt und Leipzig loswerden

Thinkpad X1 Carbon 2013 vs 2016: Drei Jahre, zwei Ultrabooks, eine Erkenntnis
Thinkpad X1 Carbon 2013 vs 2016
Drei Jahre, zwei Ultrabooks, eine Erkenntnis
  1. Huawei Matebook im Test Guter Laptop-Ersatz mit zu starker Konkurrenz
  2. iPad Pro Case Razer zeigt flache mechanische Switches
  3. Thinkpwn Lenovo warnt vor mysteriöser Bios-Schwachstelle

Asus PG248Q im Test: 180 Hertz erkannt, 180 Hertz gebannt
Asus PG248Q im Test
180 Hertz erkannt, 180 Hertz gebannt
  1. Raspberry Pi 3 Booten über USB oder per Ethernet
  2. Autonomes Fahren Mercedes stoppt Werbespot wegen überzogener Versprechen
  3. Radeon RX 480 Dank DX12 und Vulkan reicht auch eine Mittelklasse-CPU

  1. Re: CM13 von SultanXDA...

    IchBIN | 00:31

  2. Re: Sommerloch, hm? Oder wollte der Autor sich in...

    lear | 00:29

  3. Re: Wie bescheuert muss man eigentlich sein

    rldml | 00:19

  4. Re: Macs mit zeitgemäßer Hardware

    picaschaf | 00:14

  5. Re: Conversations (XMPP Client) Downloadzahlen...

    lumines | 00:08


  1. 17:39

  2. 17:19

  3. 15:32

  4. 15:01

  5. 14:57

  6. 14:24

  7. 14:00

  8. 12:59


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel