Abo
  • Services:
Anzeige
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus.
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus. (Bild: Andreas Sebayang/Golem.de)

Vom 3D-Sound zur Gestenerkennung

Ein Jahrzehnt vor Mark Reins Grafikaussage hatte der VR-Pionier Forte das VFX1 vorgestellt, eines der ersten bezahlbaren kommerziellen Head-mounted Displays. Seither sind 20 Jahre vergangen, aus 263 x 230 Pixeln pro Auge wurden 1.440 x 1.220 x pro Auge und das horizontale Sichtfeld hat sich ausgehend von 45 Grad mehr als verdoppelt. Forte aber war bereits 1994 klar: Überzeugende Grafik alleine reicht nicht, auch der Sound muss stimmen. Damals bediente sich der Hersteller zweier AKG-Kopfhörermuscheln. Oculus VR arbeitet mit der seit Jahrzehnten bekannten HRTF-Technik.

Anzeige
  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Audiobot (Bild: Oculus VR)

Die Head-related Transfer Function simuliert dreidimensionalen Raumklang auf Stereokopfhörern (Beispiel), ähnlich wie Dolby Headphone oder CMSS-3D von Creatives Audigy-Soundkarten. Gute Stereokopfhörer sind von der Tonqualität her solchen mit mehreren kleinen Treibern pro Muschel in der Regel weit überlegen, erreichen aber nicht die Qualität von räumlichen Lautsprechern.

HRTF versucht, das zu emulieren, was außer den Laufzeitunterschieden zwischen linkem und rechtem Ohr zur Ortung einer Schallquelle im Raum noch vom Menschen bewältigt wird. Sein Hörapparat bezieht auch Reflexionen und Frequenzänderungen an Ohrmuschel und Körper ein. Dabei werden Anteile eines Signals verstärkt oder gedämpft wahrgenommen, obwohl sie von der Schallquelle nicht so abgestrahlt wurden.

Durch Head Tracking konnte Oculus VR ein typisches Problem der HRTF weitgehend lösen: Die Ortung von Tönen, die von vorne oder hinten kommen, klappt viel besser. Da wir unseren Kopf ständig bewegen und sich rundherum Aberhunderte von Audiodaten befinden, sind unsere Ohrmuscheln immer an der richtigen Position.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)

Sofern die Hörer dicht anliegen, bietet Oculus VRs Crescent Bay einen exzellenten Raumklang: Wir hören Schotter unter unseren Füßen knirschen oder Raketen vorbeizischen. Selbst mit geschlossenen Augen können wir uns im virtuellen Raum orientieren - wie in echt. An diesem Punkt sprechen VR-Entwickler von Präsenz statt von Immersion: Wir fühlen uns in die virtuelle Welt versetzt, nehmen sie fast als real hin.

Das klappt besonders gut bei kleinen Geschichten, die uns die jeweilige Szene erzählt. Bei der Showdown-Demo befinden wir uns mitten in einem Gefecht in gerenderter UE4-Spielgrafik. Oculus VR hat aber auch die Filmindustrie im Blick. Das neu gegründete Story Studio zeigte auf dem Sundance Film Festival in Salt Lake City den "Lost" genannten Kurzfilm.

Die Geschichte rund um eine verlorene Roboterhand, die in einem nächtlichen Wald ihren gigantischen Besitzer sucht, wurde komplett per CGI gerendert. Ausgedacht hat sie sich Saschka Unseld, der zuvor acht Jahre bei Pixar arbeitete. Der Vorteil von Filmen: Sie sind immersiv, wenn wir uns in ihnen befinden, in einem gewissen Rahmen kann der Zuschauer sogar mit dem Film interagieren. Erst wenn er den Kopf zur Seite dreht, beginnt die Hand mit ihrer Suche. Unsere Hände hingegen sehen wir im Film nicht.

Bei Samsungs Gear VR können wir zwar die Passthrough-Kamera des darin steckenden Galaxy Note zuschalten und erblicken die Welt um uns zweidimensional. In die virtuelle Realität werden so aber weder Hände noch andere Objekte eingebunden, da die entsprechenden Sensoren fehlen. Forte löste dieses Problem vor 20 Jahren mit einem Gyroskop-Gamepad. Um eine Gestenerkennung zu gewährleisten, müssen am Head-mounted Display beispielsweise mehrere Infrarotkameras befestigt sein, welche die räumliche Tiefe messen. Leap Motion bietet ein passendes Modul für das Rift Dev Kit 2 an, Oculus VR hat vor einigen Wochen die an einer ähnlichen Technik arbeitende Firma Nimble VR übernommen.

Deren Sense genannte Gestenerkennung erfasst unsere Hände mittels Laufzeitverfahren: Eine Infrarot-LED schickt 45 Lichtimpulse pro Sekunde aus, die von Objekten zurückgeworfen werden. Je länger das Licht zurück zum Sensor benötigt, desto weiter sind beispielsweise die Hände entfernt. Interagieren klappt allerdings nur, wenn in der virtuellen Realität Objekte durch Gesten manipulierbar werden; das dürfte außer in Techdemos aber noch einige Zeit dauern. Was bereits funktioniert, sind in der echten Welt eingeblendete Hologramme, welche die Umgebung überlagern oder erweitern - Augmented Reality statt Virtual Reality.

Google hat zusammen mit Qualcomm sowie weiteren Investoren gut eine halbe Milliarde US-Dollar in ein Startup namens Magic Leap gesteckt. Die Firma forscht an einer AR-Brille, die mit einem Mikrolinsenraster arbeitet, das ein Lichtfeld erzeugt und mit vielen Sensoren wie einer Tiefenkamera ausgestattet ist. Mehr als Patente hat Magic Leap noch nicht öffentlich gezeigt. Diese beschreiben beispielsweise eine virtuelle Einkaufsliste im Supermarkt und eine Gestensteuerung, mit der bereits gekaufte Artikel gestrichen werden.

Microsoft ist bereits einen Schritt weiter und hat die Hololens vorgestellt. Die als Holographic Computer bezeichnete, drahtlose AR-Brille dürfte mit volumetrischen Displays. Wie bei Magic Leaps Projekt blickt der Nutzer durch Gläser, er sieht also ebenfalls die echte Welt. Mit einer Vielzahl an Kameras, Sensoren und integrierten Chips wie einem Cherry-Trail-SoC und der nicht näher definierten Holographic Processing Unit (HPU) blendet Hololens virtuelle Objekte in die Realität ein.

Das von Microsoft veröffentlichte Video weckt zumindest bei uns hohe Erwartungen, die wahrscheinlich nicht erfüllt werden: Per Fingerschnippen soll an einer kahlen Küchenwand die Übertragung eines Fußballspiels auf einer virtuellen Leinwand erscheinen, mit einer Pinch-Zoom-Geste oder per Sprachkommando vergrößert der Nutzer der Hololens die Darstellung. Weitere Beispiele sind Minecraft auf der Sofalandschaft und die Entwicklung von Objekten per Holostudio, die anschließend der 3D-Drucker ausspuckt.

Wie überzeugend diese Augmented Reality tatsächlich wird, hängt von vielen Faktoren ab: Die Gestenunterstützung, die Positionierung im Raum und die akustische Wahrnehmung müssen glaubwürdig sein. Das gilt auch und insbesondere für die visuelle Darstellung, denn was sagte Mark Rein doch gleich? Richtig, auf die Grafik kommt es eben doch an.

 Präsenz ist die neue Immersion: Die Zukunft von Virtual und Augmented Reality

eye home zur Startseite
spyro2000 30. Jan 2015

Bei der Vorstellung von Maxwell hat man zwar großspurig von "VR Direct", "VR SLI" und...

Nocta 29. Jan 2015

Haarspalterei?

Adabi 28. Jan 2015

Feature Connector auf der Grafikkarte mehr. Sie haben also dazu gelernt und über Facebook...

Hotohori 27. Jan 2015

Vor allem nervt mich die Egoshooter Fraktion, das Genre das nur mit VR Brille mit am...

Tmrn 27. Jan 2015

Ist es nicht irgendwie schade, dass überhaupt nur über proprietäre Windows-only APIs...



Anzeige

Stellenmarkt
  1. über Ratbacher GmbH, Karlsruhe
  2. Bite AG, Filderstadt
  3. Faubel & Co. Nachf. GmbH, Melsungen
  4. T-Systems International GmbH, München, Leinfelden-Echterdingen, Berlin


Anzeige
Hardware-Angebote
  1. 77,00€ (Bestpreis!)
  2. (reduzierte Überstände, Restposten & Co.)

Folgen Sie uns
       


  1. Nokia 3, 5 und 6

    HMD Global bringt drei Nokia-Smartphones mit Android

  2. Moto G5 und Moto G5 Plus im Hands on

    Lenovos kompakte Mittelklasse ist zurück

  3. Handy-Klassiker

    HMD Global bringt das Nokia 3310 zurück

  4. Galaxy Tab S3 im Hands on

    Samsung präsentiert Oberklasse-Tablet mit Eingabestift

  5. Galaxy Book im Hands on

    Samsung bringt neuen 2-in-1-Computer

  6. Mobilfunk

    "5G muss weit mehr als LTE bieten"

  7. UHS-III

    Neuer (Micro-)SD-Karten-Standard schafft über 600 MByte/s

  8. Watch 2 im Hands on

    Huaweis neue Smartwatch soll bis zu 21 Tage lang durchhalten

  9. LG G6 im Hands on

    Schlankes Smartphone hat zwei Kameralinsen

  10. P10 und P10 Plus im Hands on

    Huaweis neues P10 kostet 600 Euro



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Trappist-1: Der Zwerg und die sieben Planeten
Trappist-1
Der Zwerg und die sieben Planeten
  1. Weltraumteleskop Erosita soll Hinweise auf Dunkle Energie finden
  2. Astrophysik Ferne Galaxie schickt grelle Blitze zur Erde
  3. Astronomie Vera Rubin, die dunkle Materie und der Nobelpreis

Limux: Die tragische Geschichte eines Leuchtturm-Projekts
Limux
Die tragische Geschichte eines Leuchtturm-Projekts
  1. Limux München prüft Rückkehr zu Windows
  2. Limux-Projekt Windows könnte München mehr als sechs Millionen Euro kosten
  3. Limux Münchner Stadtrat ignoriert selbst beauftragte Studie

Wacoms Intuos Pro Paper im Test: Weg mit digital, her mit Stift und Papier!
Wacoms Intuos Pro Paper im Test
Weg mit digital, her mit Stift und Papier!
  1. Wacom Brainwave Ein Graph sagt mehr als tausend Worte
  2. Canvas Dells Stift-Tablet bedient sich bei Microsoft und Wacom
  3. Intuos Pro Wacom verbindet Zeichentablet mit echtem Papier

  1. "Festival", "Banking", "lange Laufzeit"

    torrbox | 05:42

  2. Re: 50 Euro, hoffentlich nur UVP

    gamesartDE | 05:32

  3. Re: Noch drei Jahre, bis 2020 benutzbar

    Sharra | 05:18

  4. Re: "pure Android" & "monthly updates"

    dancle | 05:17

  5. Re: Festival Handy

    Technik Schaf | 04:15


  1. 21:13

  2. 20:32

  3. 20:15

  4. 19:00

  5. 19:00

  6. 18:45

  7. 18:10

  8. 17:48


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel