Abo
  • Services:
Anzeige
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus.
Golem.de probiert das Rift Crystal Cove auf der CES 2014 aus. (Bild: Andreas Sebayang/Golem.de)

Vom 3D-Sound zur Gestenerkennung

Ein Jahrzehnt vor Mark Reins Grafikaussage hatte der VR-Pionier Forte das VFX1 vorgestellt, eines der ersten bezahlbaren kommerziellen Head-mounted Displays. Seither sind 20 Jahre vergangen, aus 263 x 230 Pixeln pro Auge wurden 1.440 x 1.220 x pro Auge und das horizontale Sichtfeld hat sich ausgehend von 45 Grad mehr als verdoppelt. Forte aber war bereits 1994 klar: Überzeugende Grafik alleine reicht nicht, auch der Sound muss stimmen. Damals bediente sich der Hersteller zweier AKG-Kopfhörermuscheln. Oculus VR arbeitet mit der seit Jahrzehnten bekannten HRTF-Technik.

Anzeige
  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Audiobot (Bild: Oculus VR)

Die Head-related Transfer Function simuliert dreidimensionalen Raumklang auf Stereokopfhörern (Beispiel), ähnlich wie Dolby Headphone oder CMSS-3D von Creatives Audigy-Soundkarten. Gute Stereokopfhörer sind von der Tonqualität her solchen mit mehreren kleinen Treibern pro Muschel in der Regel weit überlegen, erreichen aber nicht die Qualität von räumlichen Lautsprechern.

HRTF versucht, das zu emulieren, was außer den Laufzeitunterschieden zwischen linkem und rechtem Ohr zur Ortung einer Schallquelle im Raum noch vom Menschen bewältigt wird. Sein Hörapparat bezieht auch Reflexionen und Frequenzänderungen an Ohrmuschel und Körper ein. Dabei werden Anteile eines Signals verstärkt oder gedämpft wahrgenommen, obwohl sie von der Schallquelle nicht so abgestrahlt wurden.

Durch Head Tracking konnte Oculus VR ein typisches Problem der HRTF weitgehend lösen: Die Ortung von Tönen, die von vorne oder hinten kommen, klappt viel besser. Da wir unseren Kopf ständig bewegen und sich rundherum Aberhunderte von Audiodaten befinden, sind unsere Ohrmuscheln immer an der richtigen Position.

  • Showdown-Demo für das Oculus Rift Crescent Bay (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • VR Direct für Maxwell-Grafikkarten (Bild: Nvidia)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Details zur Showdown-Demo auf UE4-Basis (Bild: Epic)
  • Foveated Image (Bild: Wikipedia)
  • Couch Knight (Bild: Epic)
  • Audiobot (Bild: Oculus VR)
  • Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)
Für HRTF sollte die Kopfhörermuschel sehr gut auf dem Ohr sitzen (Bild: Razer)

Sofern die Hörer dicht anliegen, bietet Oculus VRs Crescent Bay einen exzellenten Raumklang: Wir hören Schotter unter unseren Füßen knirschen oder Raketen vorbeizischen. Selbst mit geschlossenen Augen können wir uns im virtuellen Raum orientieren - wie in echt. An diesem Punkt sprechen VR-Entwickler von Präsenz statt von Immersion: Wir fühlen uns in die virtuelle Welt versetzt, nehmen sie fast als real hin.

Das klappt besonders gut bei kleinen Geschichten, die uns die jeweilige Szene erzählt. Bei der Showdown-Demo befinden wir uns mitten in einem Gefecht in gerenderter UE4-Spielgrafik. Oculus VR hat aber auch die Filmindustrie im Blick. Das neu gegründete Story Studio zeigte auf dem Sundance Film Festival in Salt Lake City den "Lost" genannten Kurzfilm.

Die Geschichte rund um eine verlorene Roboterhand, die in einem nächtlichen Wald ihren gigantischen Besitzer sucht, wurde komplett per CGI gerendert. Ausgedacht hat sie sich Saschka Unseld, der zuvor acht Jahre bei Pixar arbeitete. Der Vorteil von Filmen: Sie sind immersiv, wenn wir uns in ihnen befinden, in einem gewissen Rahmen kann der Zuschauer sogar mit dem Film interagieren. Erst wenn er den Kopf zur Seite dreht, beginnt die Hand mit ihrer Suche. Unsere Hände hingegen sehen wir im Film nicht.

Bei Samsungs Gear VR können wir zwar die Passthrough-Kamera des darin steckenden Galaxy Note zuschalten und erblicken die Welt um uns zweidimensional. In die virtuelle Realität werden so aber weder Hände noch andere Objekte eingebunden, da die entsprechenden Sensoren fehlen. Forte löste dieses Problem vor 20 Jahren mit einem Gyroskop-Gamepad. Um eine Gestenerkennung zu gewährleisten, müssen am Head-mounted Display beispielsweise mehrere Infrarotkameras befestigt sein, welche die räumliche Tiefe messen. Leap Motion bietet ein passendes Modul für das Rift Dev Kit 2 an, Oculus VR hat vor einigen Wochen die an einer ähnlichen Technik arbeitende Firma Nimble VR übernommen.

Deren Sense genannte Gestenerkennung erfasst unsere Hände mittels Laufzeitverfahren: Eine Infrarot-LED schickt 45 Lichtimpulse pro Sekunde aus, die von Objekten zurückgeworfen werden. Je länger das Licht zurück zum Sensor benötigt, desto weiter sind beispielsweise die Hände entfernt. Interagieren klappt allerdings nur, wenn in der virtuellen Realität Objekte durch Gesten manipulierbar werden; das dürfte außer in Techdemos aber noch einige Zeit dauern. Was bereits funktioniert, sind in der echten Welt eingeblendete Hologramme, welche die Umgebung überlagern oder erweitern - Augmented Reality statt Virtual Reality.

Google hat zusammen mit Qualcomm sowie weiteren Investoren gut eine halbe Milliarde US-Dollar in ein Startup namens Magic Leap gesteckt. Die Firma forscht an einer AR-Brille, die mit einem Mikrolinsenraster arbeitet, das ein Lichtfeld erzeugt und mit vielen Sensoren wie einer Tiefenkamera ausgestattet ist. Mehr als Patente hat Magic Leap noch nicht öffentlich gezeigt. Diese beschreiben beispielsweise eine virtuelle Einkaufsliste im Supermarkt und eine Gestensteuerung, mit der bereits gekaufte Artikel gestrichen werden.

Microsoft ist bereits einen Schritt weiter und hat die Hololens vorgestellt. Die als Holographic Computer bezeichnete, drahtlose AR-Brille dürfte mit volumetrischen Displays. Wie bei Magic Leaps Projekt blickt der Nutzer durch Gläser, er sieht also ebenfalls die echte Welt. Mit einer Vielzahl an Kameras, Sensoren und integrierten Chips wie einem Cherry-Trail-SoC und der nicht näher definierten Holographic Processing Unit (HPU) blendet Hololens virtuelle Objekte in die Realität ein.

Das von Microsoft veröffentlichte Video weckt zumindest bei uns hohe Erwartungen, die wahrscheinlich nicht erfüllt werden: Per Fingerschnippen soll an einer kahlen Küchenwand die Übertragung eines Fußballspiels auf einer virtuellen Leinwand erscheinen, mit einer Pinch-Zoom-Geste oder per Sprachkommando vergrößert der Nutzer der Hololens die Darstellung. Weitere Beispiele sind Minecraft auf der Sofalandschaft und die Entwicklung von Objekten per Holostudio, die anschließend der 3D-Drucker ausspuckt.

Wie überzeugend diese Augmented Reality tatsächlich wird, hängt von vielen Faktoren ab: Die Gestenunterstützung, die Positionierung im Raum und die akustische Wahrnehmung müssen glaubwürdig sein. Das gilt auch und insbesondere für die visuelle Darstellung, denn was sagte Mark Rein doch gleich? Richtig, auf die Grafik kommt es eben doch an.

 Präsenz ist die neue Immersion: Die Zukunft von Virtual und Augmented Reality

eye home zur Startseite
spyro2000 30. Jan 2015

Bei der Vorstellung von Maxwell hat man zwar großspurig von "VR Direct", "VR SLI" und...

Nocta 29. Jan 2015

Haarspalterei?

Adabi 28. Jan 2015

Feature Connector auf der Grafikkarte mehr. Sie haben also dazu gelernt und über Facebook...

Hotohori 27. Jan 2015

Vor allem nervt mich die Egoshooter Fraktion, das Genre das nur mit VR Brille mit am...

Tmrn 27. Jan 2015

Ist es nicht irgendwie schade, dass überhaupt nur über proprietäre Windows-only APIs...



Anzeige

Stellenmarkt
  1. Robert Bosch GmbH, Stuttgart
  2. Daimler AG, Böblingen
  3. Bosch Software Innovations GmbH, Waiblingen
  4. Daimler AG, Hamburg


Anzeige
Hardware-Angebote
  1. 6,99€
  2. 18,99€ statt 39,99€
  3. täglich neue Deals

Folgen Sie uns
       


  1. Google

    Android 8.0 heißt Oreo

  2. KI

    Musk und andere fordern Verbot von autonomen Kampfrobotern

  3. Playerunknown's Battlegrounds

    Bluehole über Camper, das Wetter und die schussfeste Pfanne

  4. Vega 64 Strix ausprobiert

    Asus' Radeon macht fast alles besser

  5. Online-Tracking

    Händler können Bitcoin-Anonymität zerstören

  6. ANS-Coding

    Google will Patent auf freies Kodierverfahren

  7. Apple

    Aufregung um iPhone-Passcode-Entsperrbox

  8. Coffee Lake

    Intels 6C-Prozessoren erfordern neue Boards

  9. Square Enix

    Nvidia möbelt Final Fantasy 15 für Windows-PC auf

  10. Spionage

    FBI legt US-Unternehmen Kaspersky-Verzicht nahe



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Starcraft Remastered im Test: Klick, klick, klick, klick, klick als wär es 1998
Starcraft Remastered im Test
Klick, klick, klick, klick, klick als wär es 1998
  1. Blizzard Der Name Battle.net bleibt
  2. Starcraft Remastered "Mit den Protoss kann man seinen Gegner richtig nerven!"
  3. E-Sport Blizzard nutzt Gamescom für europäische WoW-Finalspiele

Fujitsu Lifebook U937 im Test: 976 Gramm reichen für das fast perfekte Notebook
Fujitsu Lifebook U937 im Test
976 Gramm reichen für das fast perfekte Notebook
  1. DLU Fujitsu entwickelt Deep-Learning-Chips
  2. Celsius-Workstations Fujitsu bringt sichere Notebooks und kabellose Desktops

Game of Thrones: Die Kunst, Fiktion mit Wirklichkeit zu verschmelzen
Game of Thrones
Die Kunst, Fiktion mit Wirklichkeit zu verschmelzen
  1. HBO Nächste Episode von Game of Thrones geleakt
  2. Hack Game-of-Thrones-Skript von HBO geleakt
  3. Game of Thrones "Der Winter ist da und hat leider unsere Server eingefroren"

  1. Re: Das bleibt abzuwarten

    Sharra | 23:58

  2. Re: Die haben es geschafft...

    Zuryan | 23:58

  3. Re: "Schließlich könnten solche Waffen auch...

    plutoniumsulfat | 23:56

  4. Gebärdensprach-Lexikon SignDict

    bitboxer | 23:55

  5. Investition für PC für Videoschnitt jetzt sinnvoll?

    DF | 23:54


  1. 20:53

  2. 18:40

  3. 18:25

  4. 17:52

  5. 17:30

  6. 15:33

  7. 15:07

  8. 14:52


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel