Original-URL des Artikels: https://www.golem.de/news/volumetrisches-studio-neues-studio-ermoeglicht-aufnahmen-fuer-begehbaren-film-1808-135746.html    Veröffentlicht: 03.08.2018 12:04    Kurz-URL: https://glm.io/135746

Volumetrisches Studio

Neues Studio ermöglicht Aufnahmen für begehbaren Film

Einen Film nicht einfach nur betrachten, sondern mit einem Head-Mounted Display darin eintauchen: Das Fraunhofer Heinrich-Hertz-Institut in Berlin hat ein Studio gebaut, in dem Darsteller in 3D von allen Seiten gescannt werden, um sie anschließend in Filme oder Videospiele zu montieren. Wir haben das volumetrische Studio besucht.

Etwas verloren sieht die Jungschauspielerin aus beim Vorsprechen in einem riesigen Studio. Sie druckst im Scheinwerferlicht, ihr Gegenüber ist ein ungehaltener Regisseur mit einer altertümlich anmutenden Kamera. Je unsicherer sie Schauspielerin ist, desto harscher reagiert er. Unbemerkt nähere ich mich dem Paar aus dem Dunkel des Raums.

Jetzt bin ich nur noch etwa zwei Meter von ihr entfernt, erkenne ihre Haare und die Bewegungen des falschen Pelzes ihres Mantels. Obwohl ich jetzt neben ihr stehe und um sie herumgehe, bleibt der Protest des Regisseurs aus. Noch eine Armlänge trennt uns. Doch was ist das? Der Pelz verschwimmt vor meinen Augen. Wo eben noch einzelne Haare zu unterscheiden waren, ist jetzt nur eine beige-braune Fläche zu sehen. Ein Schritt zurück - und die Details stimmen wieder.

Die Erklärung: Schauspielerin und Regisseur sind eine Illusion, ebenso das riesige Studio. Ich trage ein Head-Mounted Display (HMD) und wandele durch eine virtuelle Realität (VR). Das allein ist noch nicht sensationell. Sensationell hingegen ist die Qualität der Illusion, die durch eine neue Aufnahmetechnik ermöglicht wird. Entstanden sind die Sequenzen der beiden Darsteller unabhängig voneinander, wenige Meter neben meinen Standort, im volumetrischen Studio des Fraunhofer-Instituts für Nachrichtentechnik, Heinrich-Hertz-Institut, HHI, in Berlin.

"Uns geht es darum, eine möglichst realistische, dynamische 3D-Rekonstruktion von Personen durchzuführen. Alles das, was die Natürlichkeit einer Person ausmacht - die Gesichtsausdrücke, die Bewegung in der Kleidung und so weiter - wird so realistisch wie möglich und so naturgetreu wie möglich erfasst", erläutert Oliver Schreer. Er leitet die Forschungsgruppe Immersive Medien und Kommunikation des Fraunhofer HHI und hat das Studio mit entwickelt.

Ein volumetrisches Studio, ein runder, weiß ausgekleideter Raum mit einem Durchmesser von fünf Metern. Wir dürfen ihn nur mit Überschuhen betreten, oder wahlweise in Strümpfen - auch der Boden ist weiß. Auf dem Weg hinein passieren wir Paneele mit Leuchtdioden (LED), die den Raum in grelles Licht tauchen. Es ist so hell, dass das Gefühl, geblendet zu sein, und der Drang, die Augen zusammenzukneifen, nicht verschwinden. Rundherum schauen uns Kameras an.

"Der Schauspieler steht in der Mitte dieser Rotunde und wird aufgrund der Beleuchtung durch die LED-Panels von außen gleichmäßig beleuchtet, so dass keine Schlaglichter und dergleichen bei der Aufnahme entstehen", sagt Schreer. Während der Schauspieler agiert, zeichnen die Kameras jede seiner Bewegungen auf - aus allen Blickwinkeln. Ihnen entgeht kein Detail.

Beobachtet von 32 Kameras

32 Kameras sind in dem Studio verbaut, paarweise angeordnet und auf drei Ebenen verteilt: 8 knapp über dem Boden, 16 in Brusthöhe und 8 in der Decke. Die Kameras sind Industriekameras mit einer Auflösung von 5.000 x 4.000 Pixeln und jeweils einem 35-Millimeter-Objektiv des japanischen Herstellers Canon. Die Kameras nehmen mit 30 Bildern pro Sekunde auf, die Daten werden per Glasfaser an Computer übertragen und dort gespeichert.

Bei dem Aufgebot an Kameras kommt einiges an Daten zusammen: Bis zu 1,6 TByte werden pro Minute aufgezeichnet und auf 16 Capture PCs gespeichert. Die sind mit schnellen SSDs ausgestattet und können anderthalb Stunden lang volumetrisches Video am Stück aufzeichnen.

Anfangs hätten sie gedacht, das sei unnötig, erzählt Schreer. Aber dann habe sich bei einigen Produktionen gezeigt, dass das praktisch sei. So sei es möglich, mehrere Takes hintereinander aufzuzeichnen, und der Regisseur entscheide erst am Ende des Drehtags, welcher Take verwendet wird.

Im nächsten Schritt werden die aufgezeichneten Bilder zu 3D-Modellen montiert.

Mesh und Punktwolke

Dazu werden die Daten zunächst von den Capture PCs auf Datenserver verschoben, auf denen die Verarbeitung erfolgt. Das geschieht hauptsächlich auf Grafikkarten, weshalb jeder Server mindestens vier davon hat.

Jedes Kamerapaar erfasse die Szenerie mit dem Schauspieler aus einer Perspektive, sagt Schreer. "Jedes Stereosystem erzeugt demnach einen Satz von 3D-Punkten, und diese 3D-Informationen über alle Stereosysteme werden fusioniert, so dass dann ein geschlossenes 3D-Modell, eine 3D-Punktwolke resultiert. Da wir die Analyse über eine Videosequenz machen, erhalten wir also eine Sequenz von 3D-Punktwolken."

Nun seien 3D-Punktwolken aber kein geeignetes Format für Computergrafiken, sagt Schreer. Deswegen werde die Punktwolke in ein Mesh überführt. Das sei aber immer noch viel zu groß zum Rendern. "Deswegen setzen wir danach noch einen Mesh-Reduktions-Algorithmus an, der dann ein Mesh pro Frame erzeugt, das für das Endgerät, auf dem die Mesh-Sequenz verwendet wird, die geeignete Größe hat."

Bei einer VR-Experience, die mit einem HMD wie der HTC Vive oder Oculus Rift betrachtet wird, besteht so ein Mesh aus etwa 70.000 Dreiecken, bei einer Augmented-Reality-Anwendung für ein mobiles Endgerät wie Tablet oder Smartphone aus 10.000 bis 20.000 Dreiecken - jeweils pro Frame.

Die Informationen über Farbe und Textur der abgebildeten Personen oder Objekte stecken in der Punktwolke. "Wir trennen hier die Berechnung der Geometrie von der Bestimmung der Textur. Wir erzeugen zuerst das Mesh und anschließend projizieren wir die Textur aus den Kameras auf das entsprechende Mesh", erklärt Schreer. "Dann enthält jedes Mesh zusätzlich den Texturatlas, der abhängig von der Zielanwendung 1K, 2K oder 4K haben kann. Das hängt von der Performance des Endgerätes ab." Das alles ist sehr aufwendig und kostet entsprechend Rechenzeit: Eine Minute volumetrisches Video zu rendern, dauert je nach Auflösung 12 bis 24 Stunden.

Der Schauspieler wird im Kostüm aufgenommen

Vorteil dieser Aufnahmetechnik: Der Schauspieler trägt vor der Kamera das Kostüm, das für den Film oder die VR-Experience nötig ist - wie beim herkömmlichen Film. Das ermögliche eine möglichst realistische Abbildung seines Spiels, sagt Schreer. Das zeichne eine Aufnahme im volumetrischen Studio gegenüber dem Motion Capture aus, das üblicherweise für Animationsproduktionen eingesetzt wird. Dabei werden die Bewegungen eines Schauspielers aufgenommen, das Kostüm wird anschließend digital auf den Körper montiert.

Das sei deutlich aufwendiger, als wenn der Schauspieler direkt mit Kostüm gefilmt werde. "Wir machen hier alles in einem: Wir erfassen den Schauspieler in seiner ganzen Natürlichkeit, in seiner vollständigen Bewegung, und erhalten nach der vollautomatischen Verarbeitung sofort eine Mesh-Sequenz, die dann in CGI-Szenen integriert werden kann", sagt Schreer. Weiterer Vorteil: Es sei nach wie vor schwierig, Gesichtsausdrücke und sich bewegende Kleidung realistisch zu animieren. Im volumetrischen Studio werde beides aufgenommen und entsprechend auch realistisch abgebildet.

Das volumetrische Studio kann aber noch mehr: Es erzeugt praktisch jede beliebige Lichtstimmung.

LEDs erzeugen jede beliebige Lichtstimmung

Die gesamte Wand des Studios ist mit Paneelen voller Leuchtdioden ausgekleidet, die mit weißem, lichtdurchlässigem Stoff bespannt sind. Selbst die 1,60 Meter große, runde Fläche, die dem Schauspieler zum Agieren zur Verfügung steht, ist von unten beleuchtet. So entsteht nach Angaben von Schreer eine homogene weiße Beleuchtung. Das erleichtert es, wenn die aufgenommene Figur nachbearbeitet werden soll, etwa wenn nachträglich Lichteffekte eingefügt werden sollen.

Das ist aber gar nicht nötig. Denn die LED-Panels können per Computer gesteuert jede gewünschte Farbe annehmen. "Wir können damit das gesamte Lichtspektrum im Millisekundenbereich exakt steuern", sagt Schreer. "Man weiß, wie im finalen Produkt die Beleuchtung sein soll. Die wird dann übersetzt auf die Light Panels. Die Panels werden entsprechend angesteuert und erzeugen das Licht, das man nachher für das Compositing in der entsprechenden 2D- oder 3D-Szene braucht." Stehe die Figur neben einem Feuer, könnten die LEDs die Reflexionen ebenso nachbilden wie das Blaulicht eines vorbeifahrenden Polizeiautos.

Zwei dieser Studios haben Schreer und seine Kollegen aufgebaut: den Prototyp im Fraunhofer HHI in Berlin-Charlottenburg und das erste kommerzielle Studio auf dem Gelände der Filmfabrik im Potsdamer Stadtteil Babelsberg. Es ist noch einen Meter größer im Durchmesser und höher. Es hat schon einige Verbesserungen gegenüber dem Prototypen in Berlin. So wird etwa ein neues Material für die Bespannung vor den Lichtpaneelen eingesetzt, das bessere akustische Eigenschaften hat. Die Akustik bietet laut Schreer ohnehin noch Potenzial für Verbesserungen. Derzeit bekommen die Schauspieler noch Ansteckmikros. Allerdings ist ein räumlicher Ton wichtig für eine VR-Erfahrung. Deshalb ist eine aufwendigere Mikroausstattung, mit der sich räumlicher Ton aufzeichnen lässt, in der Diskussion.

Betrieben wird das Studio von der Volumetric Capture Studio Babelsberg GmbH (Volucap), an der das Studio Babelsberg, der Kamerahersteller Arri, der IT-Dienstleister Interlake, das Filmunternehmen Ufa sowie das Fraunhofer HHI beteiligt sind. Es ist das erste kommerzielle volumetrische Studio auf dem europäischen Festland. Weltweit gibt es nur sehr wenige dieser Studios.

Der Softwarekonzern Microsoft etwa unterhält eines am Unternehmenssitz in Redmond im US-Bundesstaat Washington. Der Chiphersteller Intel hat Anfang des Jahres eines in Los Angeles eröffnet. Der große Unterschied sei die vom Fraunhofer HHI entwickelte Kombination aus Hintergrund und Beleuchtung, sagt Schreer. Die anderen Studios nutzten einen Green Screen und eine gerichtete Beleuchtung.

Mit der volumetrischen Aufnahmetechnik können Menschen möglichst realistisch in einer virtuellen Welt dargestellt werden. Anwendungen gebe es dafür viele, sagt Schreer: In erster Linie ist das der Bereich Unterhaltung, seien es konventionelle Filme oder VR-Experiences, also begehbare Filme, die nur mit HMD betrachtet werden können. Auch Aufnahmen für Sequenzen in Videospielen seien denkbar.

Weitere Kunden kämen aus der Automobilbranche, der Medizin oder der Industrie, sagt Schreer. Schließlich könne sie auch in der Wissenschaft eingesetzt werden, etwa um eine virtuelle 3D-Rekonstruktion einer antiken Stadt zu bevölkern, wie etwa die von Palmyra. "Da genügt es nicht, dass man irgendwelche virtuellen Charaktere mehr schlecht als recht animiert in der Szene positioniert. Da möchte man dann schon den Händler, den Bürger und den Soldaten, der zu der Zeit dort gelebt hat, sehen, um die Lebendigkeit dieses Modells erleben zu können."

Es werden auch sicher weitere Anwendungen hinzukommen. "Wir sind ja noch am Anfang, mit dieser Art von Inhalten zu arbeiten", sagt Schreer. "Für uns geht die Arbeit im Prinzip erst richtig los. Die Herausforderungen bei der realistischen 3D-Erfassung sind immens. Denken Sie nur an komplexe Geometrien wie Federn, Kopfschmuck und dergleichen. Da gibt es rein physikalisch von der Auflösung der Sensoren her Grenzen. Aber da wollen wir besser werden."  (wp)


Verwandte Artikel:
VR-Rundschau: Retten rockende Jedi-Ritter die virtuelle Realität?   
(05.07.2018, https://glm.io/135293 )
Magic Leap Lumin OS: Erste Bilder des Betriebssystems für Augmented Reality   
(30.07.2018, https://glm.io/135747 )
HMD Global: Nokia X6 hat ein 19:9-Display mit Notch und Dual-Kamera   
(17.05.2018, https://glm.io/134423 )
Arri Alexa Mini: Teure Actioncam mit Riesensensor für 4K-Aufnahmen   
(25.02.2015, https://glm.io/112574 )
Satelliteninternet: Fraunhofer erreicht hohe Datenrate mit Beam Hopping   
(20.07.2018, https://glm.io/135607 )

© 1997–2019 Golem.de, https://www.golem.de/