Time Lab: Großes Kino
Der Lärm ist infernalisch, als der ICE auf uns zurast. Über 90 dB zeigt der Pegelmesser an, wir weichen unwillkürlich ein Stück zurück vom Bahndamm. Die Illusion ist fast perfekt. Nur der Wind fehlt im Kino der Zukunft. Das gigantomanische Gebilde füllt einen riesigen Saal: eine zwölf Meter breite gekrümmte Leinwand, über drei Meter hoch. Und 140 Lautsprecher. Momentan dient es der Wissenschaft, doch die Forscher haben Großes auch für den Endkunden damit vor. Der Nutzer zu Hause soll sich mit der Technik am Second Screen durch Fußballspiele oder Konzerte bewegen dürfen. Und für Kinobesucher soll der Begriff "in einen Film gehen" eine völlig neue Bedeutung bekommen.
Der Zuschauer soll derart in das eintauchen, was er sieht, dass er sich fühlt, als sei er wirklich dabei. Dafür sollen völlig neue Formate entstehen. "Unsere Intention ist nicht nur, dass wir Filme immersiv zeigen, sondern auch, dass wir ganz neue Darstellungsformen finden können" , sagt Christian Weißig, Leiter des Arbeitsbereichs Capture & Display Systems(öffnet im neuen Fenster) am Fraunhofer HHI. Das Publikum soll in ausverkaufte Konzerte gehen und den Stars dabei näherkommen als im echten Leben. Es soll durchs Orchester wandern und sich jedes Instrument von nahem anhören. Um ein solches Erlebnis zu erzeugen, ist einiger Aufwand nötig.
Die Leinwand nimmt das Gesichtsfeld ein
Steht der Zuschauer in der Mitte der halbkreisförmigen Leinwand im Tomorrow's Immersive Media Experience Lab(öffnet im neuen Fenster) (Time Lab) im Fraunhofer-Institut für Nachrichtentechnik, Heinrich-Hertz-Institut(öffnet im neuen Fenster) (HHI) in Berlin, nimmt sie praktisch sein gesamtes Gesichtsfeld ein.
Das Bild ist eine Mehrfachprojektion mit sieben Segmenten. Jedes wird von zwei HD-Projektoren abgedeckt, die in die Decke eingelassen sind. Bei der normalen Darstellung ist für jedes Segment einer in Betrieb. Werden 3D-Bilder gezeigt, sind es zwei. Die Beamer sind um 90 Grad gedreht, um die horizontale Auflösung als vertikale Auflösung zu bekommen. Insgesamt hat die Darstellung eine Auflösung von 7.000 x 1.920 Pixeln.
An den Ton nah herangehen
Das beste Bild wirkt aber nicht ohne Ton. Er wird mit Hilfe des Wellenfeldsynthesesystems (WFS) mit 140 Lautsprechern realisiert. 120 sind rundum in der Wand etwa in Ohrhöhe angebracht, auch hinter der Leinwand, die restlichen in der Decke. Die Wellenfeldsynthese arbeitet objektbasiert, nicht kanalbasiert wie die meisten Audiosysteme.
Letztere haben einen idealen Bereich in der Mitte. Außerhalb dieses Bereichs ist die Wiedergabe nicht so gut. Mit der Wellenfeldsynthese werde ein reales Schallfeld rekonstruiert, erklärt Weißig: Bewegen wir uns durch den Raum, ändert sich das Klangerlebnis. Nähern wir uns in der Aufzeichnung des Konzerts der Berliner Philharmoniker den Cellisten, hören wir diese lauter und deutlich als etwa die Harfen oder den Sprecher, die auf der anderen Seite der Bühne stehen. Und in der Waldbühne singt uns Herbert Grönemeyer direkt ins Gesicht.
Fast wie im echten Leben
Manchmal packt Weißig die Kamera spontan in den Kofferraum und fährt zum Dreh. Etwa in die Neue Nationalgalerie(öffnet im neuen Fenster) , zu einem besonderen Auftritt des Rundfunkchors Berlin in dem für die Renovierung schon leer geräumten Museum. Was dabei entsteht, ist tatsächlich ein völlig neues Format des Filmerlebens. Zu Anfang gehen die Sänger durch den Raum, mit der Zeit stellen sie sich im Kreis um die Kamera auf.
Fast unmerklich verändert sich währenddessen der Bildausschnitt auf der 180-Grad-Leinwand. Bis die Bewegung stoppt und die Kamera wieder zurückdreht zum Ausgangspunkt – in Wahrheit wurde nur der Bildausschnitt verschoben. Die Kamera selbst stand bei der Aufnahme still. Doch auf der riesigen, gebogenen Leinwand ist der Eindruck der Bewegung derart intensiv, dass erst ein Blick zur Seite, auf die Wand, den Betrachter davon überzeugt, dass er stillsteht und die Bewegung allein auf der Leinwand stattfindet.
Die Musiker sitzen im Publikum
Auch das Mittendrin-Konzert(öffnet im neuen Fenster) des Berliner Konzerthausorchesters sei "ein Projekt, das sehr gut zu dem Bildformat und dem Medium passt" , sagt Weißig. Dabei sitzen die Musiker nicht auf der Bühne, sondern im Publikum. "Wir können uns in dem 360-Grad-Panorama frei bewegen, unsere eigene virtuelle Kamera führen und uns in der Menge aus Publikum und Musikern bewegen." Das können Nutzer bald ausprobieren: Arte stellt das Konzert ab dem 13. März 2016 in der Rubrik Arte Concert(öffnet im neuen Fenster) bereit. Außerdem wird es an dem Tag um 00:20 Uhr im Fernsehen ausgestrahlt.
Dass solche Darstellungsformen auch in Kinos kommen, liegt noch in der Zukunft. Kinosäle mit entsprechender Technik anzubieten, ist schließlich kein günstiges Unterfangen. Praxisbezogene Simulationen sind im Institut der Fraunhofer-Forscher aber schon jetzt von konkretem Nutzen.
Die Realität simulieren – in Bild und Ton
Der Zug ist vorbeigefahren. Kurz bevor der nächste ICE da ist, baut sich eine kleine Lärmschutzwand neben den Schienen auf. Sie ist kaum hüfthoch, aber schon lässt der Lärm etwas nach. Eine Unterhaltung ließe sich aber noch nicht führen. Erst als der Zug vollständig hinter einer Lärmschutzwand verschwindet, ist ein Sprecher zu verstehen. Dafür schauen wir jetzt auf eine vier Meter hohe Wand.
Was ist erträglicher: das Geräusch des ICE, der schnell durchrast? Das des Güterzugs, der noch lauter ist und gar nicht enden will? Oder der dauernde Anblick einer mehrere Meter hohen Mauer? Hier lässt sich das erfahren. Etwa für Anwohner, die mit Lärm oder einer Mauer leben müssen, erklärt Weißig. Oder für Entscheidungsträger, die das Geld für die Lärmschutzmaßnahmen bewilligen.
HHI simuliert Lärmschutz
Sie sehen verschiedene Typen von Lärmschutzwänden, die bei einer Zugvorbeifahrt eingeblendet werden. "Wir können das aber – und das ist das Wichtige – auch akustisch erfahrbar machen" , sagt Weißig. "So gewinnen sie erst einen Eindruck, was es bedeutet, wenn eine Lärmschutzwand oder ein Schienenstoßdämpfer eingesetzt werden."
Die Bilder dafür werden mit einer Kamera aufgenommen, die das Fraunhofer HHI entwickelt hat .
Die Omnicam filmt rundum
Die Omnicam-360(öffnet im neuen Fenster) ist eine Panoramakamera, die 360-Grad-Videos in hoher Auflösung aufzeichnet. Mit dieser Kamera haben die Fraunhofer-Forscher etwa das Konzert der Berliner Philharmoniker zum 25. Jahrestag des Mauerfalls am 9. November 2014(öffnet im neuen Fenster) gefilmt.
Die Kamera stand seitlich neben dem Orchester. Das Ergebnis: Direkt vor uns spielt ein Musiker das Englischhorn – er ist so groß wie der Zuschauer. Etwas links von ihm sitzen die Klarinettisten. Ihnen können wir über die Schulter auf die Partitur schauen. Rechts lassen die Cellisten ihre Bögen über die Saiten streichen. Wir können Sir Simon Rattle auf dem Dirigentenpult aus wenigen Metern Entfernung beobachten. So nah kommen ihm die echten Zuschauer im Saal, die am linken Rand der Leinwand zu sehen sind, nicht.
Zehn Kameras schauen nach oben
Die Omnicam ist ein Gestell mit zehn Kameras, die im Kreis angeordnet sind. Die Kameras sind austauschbar, die Fraunhofer-Forscher verwenden die Indie GS2K(öffnet im neuen Fenster) von Indiecam oder Sinacams(öffnet im neuen Fenster) , die auch für TV- und Filmproduktionen eingesetzt werden. Sie sind nicht wie üblich mit dem Objektiv nach vorne gerichtet, sondern nach oben, auch eine Anordnung von zehn Spiegeln.
Jede Kamera schaut in einen Spiegel, sie sind jeweils durch eine schmalen schwarzen Steg voneinander getrennt. Dieser Aufbau ermögliche parallaxenfreie Aufnahmen, sagt Weißig. Das bedeutet, Panoramen ohne Montagefehler. Einziger Nachteil: Die Kameras bilden zwar 360 Grad in der Horizontalen. Im Himmel gibt es aber ein Loch. Das lasse sich allerdings stopfen, sagt Weißig: Oben auf die Omnicam kann noch eine elfte Kamera montiert werden, die den Himmel aufnimmt.
Montiert wird in Echtzeit
Ein Kabel verbindet die Omnicam mit einem Rack daneben. Darin steckt die Aufnahmetechnik: pro Kamera ein System, das die Bilder aufzeichnet, eine unterbrechungsfreie Stromversorgung, Display, Tastatur – und ein Rechner mit einer leistungsstarken Grafikkarte. Deren Prozessor übernimmt das Stitching – in Echtzeit während der Aufzeichnung bei einer Auflösung von 10.000 x 2.000 Pixeln. Die Stitching-Software haben die Fraunhofer-Forscher selbst entwickelt.
Das Panorama wird auch schon während der Aufzeichnung auf den Monitor ausgegeben: Bei einer Filmproduktion etwa können sich der Regisseur und der Kameramann in Echtzeit anschauen, was die Omnicam gerade aufnimmt. Das sei wichtig, um die Kameras vor der Aufnahme zu kalibrieren, damit Belichtung und Weißabgleich stimmen, sagt Weißig. Das gehe nur, wenn das Panorama als Ganzes ausgegeben werde. Erschiene jedes Kamerabild auf einem einzelnen Monitor, ließen sich Abweichungen nicht erkennen. Dann müsste das später in der Nachbearbeitung gemacht werden, was Einbußen bei der Qualität bedeute und deutlich mehr Zeit in Anspruch nähme als die Kalibrierung der Kamera, die etwa eine halbe Stunde dauere.
Das Material der Kamera ist nicht nur für die Simulation auf der riesigen Leinwand des Heinrich-Hertz-Instituts geeignet. Es erreicht Nutzer bereits jetzt über das Internet – und bald soll es auch aufs Smartphone oder Tablet kommen.
Jeder wird zum Bildregisseur
Aufgezeichnet wird das Bildmaterial im RAW-Format, das dann bearbeitet und für verschiedene Ausgabeformate aufbereitet werden kann. Beispielsweise kann es für eine verkleinerte Ausgabe im Netz skaliert werden. Auf der Internationalen Automobilausstellung in Frankfurt im September 2015 etwa zeichneten Weißig und seine Kollegen die Präsentation von Porsches Elektrosportwagen Mission E mit der Omnicam auf. Nach einer Stunde stand das Panoramavideo auf der Porsche-Website(öffnet im neuen Fenster) – eingebunden in einen Viewer, in dem der Zuschauer navigieren konnte. Auch ein Livestream wäre möglich gewesen.
Eine andere Möglichkeit der Aufbereitung ist es, die Bilder auf einem mobilen Gerät, also einem Smartphone oder einem Tablet, anzuschauen. Der Betrachter kann dann in der Szenerie navigieren und selbst entscheiden, was er sehen möchte. Er wird sein eigener Bildregisseur. Wie das aussehen kann, stellte Fraunhofer HHI im vergangenen Jahr auf der Cebit in Hannover vor – eine App, die das Tablet zum zweiten Bildschirm bei einem Fußballspiel macht. Auf dem großen Fernseher läuft die offizielle Übertragung des Spiels. Auf dem Tablet kann der Zuschauer selbst Regie führen, etwa auf eine bestimmte Stelle auf dem Spielfeld zoomen oder seinen Lieblingsspieler verfolgen.
Veranstalter sind interessiert an der Technik
Schließlich ist auch eine Ausgabe auf einem Head-mounted Display (HMD) wie Samsungs Gear VR möglich. Für solche Produktionen wird die elfte Kamera benötigt. Sonst schaute der Betrachter ins Nichts, wenn der den Kopf in den Nacken legt.
Konzerte oder Sportveranstaltungen seien genau richtig, um sie mit der Omnicam aufzuzeichnen. "Da möchte ich live dabei sein" , sagt Weißig. Aber oft genug ist die Anfahrt zu weit, es gibt keine oder keine erschwinglichen Karten. Wer bekommt schon mal eben eine Karte für das Endspiel der Fußballweltmeisterschaft? Da bieten eine Aufzeichnung mit der Omnicam und das Timelab eine angemessene Alternative.
Veranstalter können mehr Tickets verkaufen
Da Interesse seitens der Veranstalter sei durchaus da, sagt Weißig. Nicht zuletzt deshalb, weil diese so mehr Karten verkaufen könnten. Einfacher würden solche Aufnahmen, wenn die Kamera etwas handlicher wäre. Noch wiegt die Omnicam gut 15 Kilogramm. Damit sei sie nicht unbedingt dazu geeignet, sie wie eine Actioncam vorne aufs Surfbrett zu montieren, sagt Weißig. Problematisch sei vor allem das Rack mit der Peripherie. Die Forscher arbeiten deshalb an einer kleineren Version: einer kleinen Box mit Hardware, die auch batteriebetrieben arbeiten kann.
Außerdem gehe es ja nicht nur um die Aufnahme, also um die Kameratechnik und das Stitching. Auch die Übertragungswege müssten erschlossen werden. Die derzeitigen 10.000 x 2.000 Pixel sind das Zehnfache einer HD-Auflösung. Ein Kino könne mit einer Datenleitung ausgestattet werden, die über genug Bandbreite verfüge, sagt Weißig. Um aber eine solche Auflösung auch auf einem mobilen Endgerät anbieten zu können, seien neue Techniken nötig. "Wir haben in naher Zukunft auch Lösungen, die wir anbieten können. Dann sind solche Möglichkeiten auch wirklich nutzbar."
Tor!
Vielleicht sehen wir die Fußballweltmeisterschaft 2018 nicht mehr wie bisher nur ganz normal auf dem Fernseher, sondern können Mario Götze und Thomas Müller nach eigenem Gutdünken zusätzlich auf dem Tablet verfolgen. Oder als Public Viewing in einem Panoramakino. Der Weltfußballverband Fifa scheint die Möglichkeiten begriffen zu haben: Er beauftragte bei der letzten Weltmeisterschaft das Fraunhofer HHI, das Endspiel in Rio de Janeiro mit der Omnicam aufzuzeichnen.
Maracanã-Stadion, 23. Minute der Verlängerung. Wir sitzen etwa in Höhe der Mittellinie, oben auf einem der teureren Plätze. Dann sehen wir die deutsche Mannschaft am Strafraum der Argentinier. Eine Zuschauerin in der Reihe vor uns richtet ihre Frisur. Dann kommt Götze. Um uns herum jubelt die Menge. Wir sehen ihn – nicht im Closeup wie im Fernsehen. Sondern entfernt, dort am Tor: Götze müsste schießen. Götze schießt. Und: Tor! Tor! Tor!