Abo
  • Services:
Anzeige
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus.
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus. (Bild: Andreas Sebayang/Golem.de)

Vom 3D-Sound zur Gestenerkennung

Ein Jahrzehnt vor Mark Reins Grafikaussage hatte der VR-Pionier Forte das VFX1 vorgestellt, eines der ersten bezahlbaren kommerziellen Head-mounted Displays. Seither sind 20 Jahre vergangen, aus 263 x 230 Pixeln pro Auge wurden 1.440 x 1.220 x pro Auge und das horizontale Sichtfeld hat sich ausgehend von 45 Grad mehr als verdoppelt. Forte aber war bereits 1994 klar: Überzeugende Grafik alleine reicht nicht, auch der Sound muss stimmen. Damals bediente sich der Hersteller zweier AKG-Kopfhörermuscheln. Oculus VR arbeitet mit der seit Jahrzehnten bekannten HRTF-Technik.

Anzeige
  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Audiobot (Bild: Oculus VR)

Die Head-related Transfer Function simuliert dreidimensionalen Raumklang auf Stereokopfhörern (Beispiel), ähnlich wie Dolby Headphone oder CMSS-3D von Creatives Audigy-Soundkarten. Gute Stereokopfhörer sind von der Tonqualität her solchen mit mehreren kleinen Treibern pro Muschel in der Regel weit überlegen, erreichen aber nicht die Qualität von räumlichen Lautsprechern.

HRTF versucht, das zu emulieren, was außer den Laufzeitunterschieden zwischen linkem und rechtem Ohr zur Ortung einer Schallquelle im Raum noch vom Menschen bewältigt wird. Sein Hörapparat bezieht auch Reflexionen und Frequenzänderungen an Ohrmuschel und Körper ein. Dabei werden Anteile eines Signals verstärkt oder gedämpft wahrgenommen, obwohl sie von der Schallquelle nicht so abgestrahlt wurden.

Durch Head Tracking konnte Oculus VR ein typisches Problem der HRTF weitgehend lösen: Die Ortung von Tönen, die von vorne oder hinten kommen, klappt viel besser. Da wir unseren Kopf ständig bewegen und sich rundherum Aberhunderte von Audiodaten befinden, sind unsere Ohrmuscheln immer an der richtigen Position.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)

Sofern die Hörer dicht anliegen, bietet Oculus VRs Crescent Bay einen exzellenten Raumklang: Wir hören Schotter unter unseren Füßen knirschen oder Raketen vorbeizischen. Selbst mit geschlossenen Augen können wir uns im virtuellen Raum orientieren - wie in echt. An diesem Punkt sprechen VR-Entwickler von Präsenz statt von Immersion: Wir fühlen uns in die virtuelle Welt versetzt, nehmen sie fast als real hin.

Das klappt besonders gut bei kleinen Geschichten, die uns die jeweilige Szene erzählt. Bei der Showdown-Demo befinden wir uns mitten in einem Gefecht in gerenderter UE4-Spielgrafik. Oculus VR hat aber auch die Filmindustrie im Blick. Das neu gegründete Story Studio zeigte auf dem Sundance Film Festival in Salt Lake City den "Lost" genannten Kurzfilm.

Die Geschichte rund um eine verlorene Roboterhand, die in einem nächtlichen Wald ihren gigantischen Besitzer sucht, wurde komplett per CGI gerendert. Ausgedacht hat sie sich Saschka Unseld, der zuvor acht Jahre bei Pixar arbeitete. Der Vorteil von Filmen: Sie sind immersiv, wenn wir uns in ihnen befinden, in einem gewissen Rahmen kann der Zuschauer sogar mit dem Film interagieren. Erst wenn er den Kopf zur Seite dreht, beginnt die Hand mit ihrer Suche. Unsere Hände hingegen sehen wir im Film nicht.

Bei Samsungs Gear VR können wir zwar die Passthrough-Kamera des darin steckenden Galaxy Note zuschalten und erblicken die Welt um uns zweidimensional. In die virtuelle Realität werden so aber weder Hände noch andere Objekte eingebunden, da die entsprechenden Sensoren fehlen. Forte löste dieses Problem vor 20 Jahren mit einem Gyroskop-Gamepad. Um eine Gestenerkennung zu gewährleisten, müssen am Head-mounted Display beispielsweise mehrere Infrarotkameras befestigt sein, welche die räumliche Tiefe messen. Leap Motion bietet ein passendes Modul für das Rift Dev Kit 2 an, Oculus VR hat vor einigen Wochen die an einer ähnlichen Technik arbeitende Firma Nimble VR übernommen.

Deren Sense genannte Gestenerkennung erfasst unsere Hände mittels Laufzeitverfahren: Eine Infrarot-LED schickt 45 Lichtimpulse pro Sekunde aus, die von Objekten zurückgeworfen werden. Je länger das Licht zurück zum Sensor benötigt, desto weiter sind beispielsweise die Hände entfernt. Interagieren klappt allerdings nur, wenn in der virtuellen Realität Objekte durch Gesten manipulierbar werden; das dürfte außer in Techdemos aber noch einige Zeit dauern. Was bereits funktioniert, sind in der echten Welt eingeblendete Hologramme, welche die Umgebung überlagern oder erweitern - Augmented Reality statt Virtual Reality.

Google hat zusammen mit Qualcomm sowie weiteren Investoren gut eine halbe Milliarde US-Dollar in ein Startup namens Magic Leap gesteckt. Die Firma forscht an einer AR-Brille, die mit einem Mikrolinsenraster arbeitet, das ein Lichtfeld erzeugt und mit vielen Sensoren wie einer Tiefenkamera ausgestattet ist. Mehr als Patente hat Magic Leap noch nicht öffentlich gezeigt. Diese beschreiben beispielsweise eine virtuelle Einkaufsliste im Supermarkt und eine Gestensteuerung, mit der bereits gekaufte Artikel gestrichen werden.

Microsoft ist bereits einen Schritt weiter und hat die Hololens vorgestellt. Die als Holographic Computer bezeichnete, drahtlose AR-Brille dürfte mit volumetrischen Displays. Wie bei Magic Leaps Projekt blickt der Nutzer durch Gläser, er sieht also ebenfalls die echte Welt. Mit einer Vielzahl an Kameras, Sensoren und integrierten Chips wie einem Cherry-Trail-SoC und der nicht näher definierten Holographic Processing Unit (HPU) blendet Hololens virtuelle Objekte in die Realität ein.

Das von Microsoft veröffentlichte Video weckt zumindest bei uns hohe Erwartungen, die wahrscheinlich nicht erfüllt werden: Per Fingerschnippen soll an einer kahlen Küchenwand die Übertragung eines Fußballspiels auf einer virtuellen Leinwand erscheinen, mit einer Pinch-Zoom-Geste oder per Sprachkommando vergrößert der Nutzer der Hololens die Darstellung. Weitere Beispiele sind Minecraft auf der Sofalandschaft und die Entwicklung von Objekten per Holostudio, die anschließend der 3D-Drucker ausspuckt.

Wie überzeugend diese Augmented Reality tatsächlich wird, hängt von vielen Faktoren ab: Die Gestenunterstützung, die Positionierung im Raum und die akustische Wahrnehmung müssen glaubwürdig sein. Das gilt auch und insbesondere für die visuelle Darstellung, denn was sagte Mark Rein doch gleich? Richtig, auf die Grafik kommt es eben doch an.

 Präsenz ist die neue Immersion: Die Zukunft von Virtual und Augmented Reality

eye home zur Startseite
spyro2000 30. Jan 2015

Bei der Vorstellung von Maxwell hat man zwar großspurig von "VR Direct", "VR SLI" und...

Nocta 29. Jan 2015

Haarspalterei?

Adabi 28. Jan 2015

Feature Connector auf der Grafikkarte mehr. Sie haben also dazu gelernt und über Facebook...

Hotohori 27. Jan 2015

Vor allem nervt mich die Egoshooter Fraktion, das Genre das nur mit VR Brille mit am...

Tmrn 27. Jan 2015

Ist es nicht irgendwie schade, dass überhaupt nur über proprietäre Windows-only APIs...



Anzeige

Stellenmarkt
  1. Lean42 GmbH, München, Frankfurt am Main
  2. Hella Gutmann Solutions GmbH, Ihringen nahe Freiburg im Breisgau
  3. Dataport, Magdeburg, Bremen oder Hamburg
  4. Carmeq GmbH, Wolfsburg oder Berlin


Anzeige
Blu-ray-Angebote
  1. (u. a. Fast & Furious 1-7 Blu-ray 26,49€, Indiana Jones Complete Blu-ray 14,76€, The Complete...
  2. 13,98€ + 5,00€ Versand
  3. (u. a. The Revenant 7,97€, James Bond Spectre 7,97€, Der Marsianer 7,97€)

Folgen Sie uns
       


  1. Betrugsverdacht

    Amazon Deutschland sperrt willkürlich Marketplace-Händler

  2. Take 2

    GTA 5 bringt weiter Geld in die Kassen

  3. 50 MBit/s

    Bundesland erreicht kompletten Internetausbau ohne Zuschüsse

  4. Microsoft

    Lautloses Surface Pro hält länger durch und bekommt LTE

  5. Matebook X

    Huawei stellt erstes Notebook vor

  6. Smart Home

    Nest bringt Thermostat Ende 2017 nach Deutschland

  7. Biometrie

    Iris-Scanner des Galaxy S8 kann einfach manipuliert werden

  8. Bundesnetzagentur

    Drillisch bekommt eigene Vorwahl zugeteilt

  9. Neuland erforschen

    Deutsches Internet-Institut entsteht in Berlin

  10. Squad

    Valve heuert Entwickler des Kerbal Space Program an



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Blackberry Keyone im Test: Tolles Tastatur-Smartphone hat zu kurze Akkulaufzeit
Blackberry Keyone im Test
Tolles Tastatur-Smartphone hat zu kurze Akkulaufzeit
  1. Blackberry Keyone kommt Mitte Mai
  2. Keyone Blackberrys neues Tastatur-Smartphone kommt später
  3. Blackberry Keyone im Hands on Android-Smartphone mit toller Hardware-Tastatur

The Surge im Test: Frust und Feiern in der Zukunft
The Surge im Test
Frust und Feiern in der Zukunft
  1. Wirtschaftssimulation Pizza Connection 3 wird gebacken
  2. Mobile-Games-Auslese Untote Rundfahrt und mobiles Seemannsgarn
  3. Spielebranche Beschäftigtenzahl in der deutschen Spielebranche sinkt

Redmond Campus Building 87: Microsofts Area 51 für Hardware
Redmond Campus Building 87
Microsofts Area 51 für Hardware
  1. Windows on ARM Microsoft erklärt den kommenden x86-Emulator im Detail
  2. Azure Microsoft betreut MySQL und PostgreSQL in der Cloud
  3. Microsoft Azure bekommt eine beeindruckend beängstigende Video-API

  1. Re: 16GB RAM Maximum

    Carlo Escobar | 22:26

  2. Re: Aber Suchmaschinen-Bombing ist weiter erlaubt...

    Cok3.Zer0 | 22:24

  3. Re: Inexio = Monopolstellung mit überteuerten...

    RipClaw | 22:16

  4. Re: USB Type-C fehlt

    Carlo Escobar | 22:08

  5. Re: Kommt mir auch auf Kundenseite bekannt vor.

    Niaxa | 22:07


  1. 16:58

  2. 16:10

  3. 15:22

  4. 14:59

  5. 14:30

  6. 14:20

  7. 13:36

  8. 13:20


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel