Abo
  • Services:
Anzeige
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus.
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus. (Bild: Andreas Sebayang/Golem.de)

Vom 3D-Sound zur Gestenerkennung

Ein Jahrzehnt vor Mark Reins Grafikaussage hatte der VR-Pionier Forte das VFX1 vorgestellt, eines der ersten bezahlbaren kommerziellen Head-mounted Displays. Seither sind 20 Jahre vergangen, aus 263 x 230 Pixeln pro Auge wurden 1.440 x 1.220 x pro Auge und das horizontale Sichtfeld hat sich ausgehend von 45 Grad mehr als verdoppelt. Forte aber war bereits 1994 klar: Überzeugende Grafik alleine reicht nicht, auch der Sound muss stimmen. Damals bediente sich der Hersteller zweier AKG-Kopfhörermuscheln. Oculus VR arbeitet mit der seit Jahrzehnten bekannten HRTF-Technik.

Anzeige
  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Audiobot (Bild: Oculus VR)

Die Head-related Transfer Function simuliert dreidimensionalen Raumklang auf Stereokopfhörern (Beispiel), ähnlich wie Dolby Headphone oder CMSS-3D von Creatives Audigy-Soundkarten. Gute Stereokopfhörer sind von der Tonqualität her solchen mit mehreren kleinen Treibern pro Muschel in der Regel weit überlegen, erreichen aber nicht die Qualität von räumlichen Lautsprechern.

HRTF versucht, das zu emulieren, was außer den Laufzeitunterschieden zwischen linkem und rechtem Ohr zur Ortung einer Schallquelle im Raum noch vom Menschen bewältigt wird. Sein Hörapparat bezieht auch Reflexionen und Frequenzänderungen an Ohrmuschel und Körper ein. Dabei werden Anteile eines Signals verstärkt oder gedämpft wahrgenommen, obwohl sie von der Schallquelle nicht so abgestrahlt wurden.

Durch Head Tracking konnte Oculus VR ein typisches Problem der HRTF weitgehend lösen: Die Ortung von Tönen, die von vorne oder hinten kommen, klappt viel besser. Da wir unseren Kopf ständig bewegen und sich rundherum Aberhunderte von Audiodaten befinden, sind unsere Ohrmuscheln immer an der richtigen Position.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)

Sofern die Hörer dicht anliegen, bietet Oculus VRs Crescent Bay einen exzellenten Raumklang: Wir hören Schotter unter unseren Füßen knirschen oder Raketen vorbeizischen. Selbst mit geschlossenen Augen können wir uns im virtuellen Raum orientieren - wie in echt. An diesem Punkt sprechen VR-Entwickler von Präsenz statt von Immersion: Wir fühlen uns in die virtuelle Welt versetzt, nehmen sie fast als real hin.

Das klappt besonders gut bei kleinen Geschichten, die uns die jeweilige Szene erzählt. Bei der Showdown-Demo befinden wir uns mitten in einem Gefecht in gerenderter UE4-Spielgrafik. Oculus VR hat aber auch die Filmindustrie im Blick. Das neu gegründete Story Studio zeigte auf dem Sundance Film Festival in Salt Lake City den "Lost" genannten Kurzfilm.

Die Geschichte rund um eine verlorene Roboterhand, die in einem nächtlichen Wald ihren gigantischen Besitzer sucht, wurde komplett per CGI gerendert. Ausgedacht hat sie sich Saschka Unseld, der zuvor acht Jahre bei Pixar arbeitete. Der Vorteil von Filmen: Sie sind immersiv, wenn wir uns in ihnen befinden, in einem gewissen Rahmen kann der Zuschauer sogar mit dem Film interagieren. Erst wenn er den Kopf zur Seite dreht, beginnt die Hand mit ihrer Suche. Unsere Hände hingegen sehen wir im Film nicht.

Bei Samsungs Gear VR können wir zwar die Passthrough-Kamera des darin steckenden Galaxy Note zuschalten und erblicken die Welt um uns zweidimensional. In die virtuelle Realität werden so aber weder Hände noch andere Objekte eingebunden, da die entsprechenden Sensoren fehlen. Forte löste dieses Problem vor 20 Jahren mit einem Gyroskop-Gamepad. Um eine Gestenerkennung zu gewährleisten, müssen am Head-mounted Display beispielsweise mehrere Infrarotkameras befestigt sein, welche die räumliche Tiefe messen. Leap Motion bietet ein passendes Modul für das Rift Dev Kit 2 an, Oculus VR hat vor einigen Wochen die an einer ähnlichen Technik arbeitende Firma Nimble VR übernommen.

Deren Sense genannte Gestenerkennung erfasst unsere Hände mittels Laufzeitverfahren: Eine Infrarot-LED schickt 45 Lichtimpulse pro Sekunde aus, die von Objekten zurückgeworfen werden. Je länger das Licht zurück zum Sensor benötigt, desto weiter sind beispielsweise die Hände entfernt. Interagieren klappt allerdings nur, wenn in der virtuellen Realität Objekte durch Gesten manipulierbar werden; das dürfte außer in Techdemos aber noch einige Zeit dauern. Was bereits funktioniert, sind in der echten Welt eingeblendete Hologramme, welche die Umgebung überlagern oder erweitern - Augmented Reality statt Virtual Reality.

Google hat zusammen mit Qualcomm sowie weiteren Investoren gut eine halbe Milliarde US-Dollar in ein Startup namens Magic Leap gesteckt. Die Firma forscht an einer AR-Brille, die mit einem Mikrolinsenraster arbeitet, das ein Lichtfeld erzeugt und mit vielen Sensoren wie einer Tiefenkamera ausgestattet ist. Mehr als Patente hat Magic Leap noch nicht öffentlich gezeigt. Diese beschreiben beispielsweise eine virtuelle Einkaufsliste im Supermarkt und eine Gestensteuerung, mit der bereits gekaufte Artikel gestrichen werden.

Microsoft ist bereits einen Schritt weiter und hat die Hololens vorgestellt. Die als Holographic Computer bezeichnete, drahtlose AR-Brille dürfte mit volumetrischen Displays. Wie bei Magic Leaps Projekt blickt der Nutzer durch Gläser, er sieht also ebenfalls die echte Welt. Mit einer Vielzahl an Kameras, Sensoren und integrierten Chips wie einem Cherry-Trail-SoC und der nicht näher definierten Holographic Processing Unit (HPU) blendet Hololens virtuelle Objekte in die Realität ein.

Das von Microsoft veröffentlichte Video weckt zumindest bei uns hohe Erwartungen, die wahrscheinlich nicht erfüllt werden: Per Fingerschnippen soll an einer kahlen Küchenwand die Übertragung eines Fußballspiels auf einer virtuellen Leinwand erscheinen, mit einer Pinch-Zoom-Geste oder per Sprachkommando vergrößert der Nutzer der Hololens die Darstellung. Weitere Beispiele sind Minecraft auf der Sofalandschaft und die Entwicklung von Objekten per Holostudio, die anschließend der 3D-Drucker ausspuckt.

Wie überzeugend diese Augmented Reality tatsächlich wird, hängt von vielen Faktoren ab: Die Gestenunterstützung, die Positionierung im Raum und die akustische Wahrnehmung müssen glaubwürdig sein. Das gilt auch und insbesondere für die visuelle Darstellung, denn was sagte Mark Rein doch gleich? Richtig, auf die Grafik kommt es eben doch an.

 Präsenz ist die neue Immersion: Die Zukunft von Virtual und Augmented Reality

eye home zur Startseite
spyro2000 30. Jan 2015

Bei der Vorstellung von Maxwell hat man zwar großspurig von "VR Direct", "VR SLI" und...

Nocta 29. Jan 2015

Haarspalterei?

Adabi 28. Jan 2015

Feature Connector auf der Grafikkarte mehr. Sie haben also dazu gelernt und über Facebook...

Hotohori 27. Jan 2015

Vor allem nervt mich die Egoshooter Fraktion, das Genre das nur mit VR Brille mit am...

Tmrn 27. Jan 2015

Ist es nicht irgendwie schade, dass überhaupt nur über proprietäre Windows-only APIs...



Anzeige

Stellenmarkt
  1. ENERTRAG Aktiengesellschaft, Berlin
  2. Stadt Ellwangen, Ellwangen
  3. über Hays AG, Karlsfeld
  4. Kassenzahnärztliche Vereinigung Bayerns, München


Anzeige
Spiele-Angebote
  1. (u. a. Uncharted 4 34,99€, Ratchet & Clank 29,00€, The Last of Us Remastered 28,98€, The...
  2. 69,99€
  3. (-20%) 31,99€

Folgen Sie uns
       


  1. DNS NET

    Erste Kunden in Sachsen-Anhalt erhalten 500 MBit/s

  2. Netzwerk

    EWE reduziert FTTH auf 40 MBit/s im Upload

  3. Rahmenvertrag

    VG Wort will mit Unis neue Zwischenlösung für 2017 finden

  4. Industriespionage

    Wie Thyssenkrupp seine Angreifer fand

  5. Kein Internet

    Nach Windows-Update weltweit Computer offline

  6. Display Core

    Kernel-Community lehnt AMDs Linux-Treiber weiter ab

  7. Test

    Mobiles Internet hat viele Funklöcher in Deutschland

  8. Kicking the Dancing Queen

    Amazon bringt Songtexte-Funktion nach Deutschland

  9. Nachruf

    Astronaut John Glenn im Alter von 95 Jahren gestorben

  10. Künstliche Intelligenz

    Go Weltmeisterschaft mit Menschen und KI



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Robot Operating System: Was Bratwurst-Bot und autonome Autos gemeinsam haben
Robot Operating System
Was Bratwurst-Bot und autonome Autos gemeinsam haben
  1. Roboterarm Dobot M1 - der Industrieroboter für daheim
  2. Roboter Laundroid faltet die Wäsche
  3. Fahrbare Roboter Japanische Firmen arbeiten an Transformers

Super Mario Bros. (1985): Fahrt ab auf den Bruder!
Super Mario Bros. (1985)
Fahrt ab auf den Bruder!
  1. Quake (1996) Urknall für Mouselook, Mods und moderne 3D-Grafik
  2. NES Classic Mini im Vergleichstest Technischer K.o.-Sieg für die Original-Hardware

HPE: Was The Machine ist und was nicht
HPE
Was The Machine ist und was nicht
  1. IaaS und PaaS Suse bekommt Cloudtechnik von HPE und wird Lieblings-Linux
  2. Memory-Driven Computing HPE zeigt Prototyp von The Machine

  1. Re: Warum nur M.2?

    Ach | 05:54

  2. Re: Upload ...

    NaruHina | 05:40

  3. Re: Hat Microsoft eigentlich noch eine...

    Wallbreaker | 04:56

  4. Wie eine Supernova ...

    Dyanarka | 04:51

  5. Re: Danke Apple

    Seitan-Sushi-Fan | 03:45


  1. 18:40

  2. 17:30

  3. 17:13

  4. 16:03

  5. 15:54

  6. 15:42

  7. 14:19

  8. 13:48


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel