Unreal Engine trifft Meta-Menschen

Das grundlegende Erfassen der Bewegungsdaten erledigt eine Software namens Motive 3, die ebenfalls von Optitrak stammt. Motive 3 wird aber noch mit mehr Daten gefüttert.

So trägt Kevin Clare, der Lead Technical Producer im Motion-Capture-Anzug, spezielle Handschuhe (ab 5.000 US-Dollar) des neuseeländischen Herstellers Stretch Sense, die über besonders lange Sensoren in den Fingern deren Krümmung und damit die Handbewegungen aufzeichnen.

Dritter wesentlicher Teil für Motion Capture ist die Mimik von Kevin. Die wird schlicht mit den integrierten Kameras eines Smartphones erfasst, das mit einer Halterung vor das Gesicht gehalten wird.

Auf dem Mobilgerät läuft eine kostenlose Software namens Live Link Face (damit kann man auch einfach so herumspielen) von Epic Games, die wiederum auf AR Kit von Apple basiert.

Diese drei Datenströme werden über einen Timecode synchronisiert und in Motive 3 zusammengeführt. Zum Teil müssten die Daten dann noch überarbeitet, korrigiert und bereinigt werden, sagt uns Niklas Bothe.

Probleme gebe es etwa mit Umarmungen von Menschen - also dann, wenn die Kameras nicht genau erkennen, welcher Datenpunkt am Anzug zu welchem Schauspieler gehört. Allerdings sagt Bothe uns, dass die Software immer besser darin werde, einzelne Körperteile im Blick zu behalten und somit Fehler zu vermeiden.

Die mehr oder weniger fertigen Motion-Capture-Rohdaten werden mit einer Bildrate von 240 fps erstellt, was später unter anderem Zeitlupeneffekte erlaubt. Alle Daten fließen in Dateien mit einem Format namens FBX (Filmbox) zusammen.

Das Format stammt ursprünglich von Autodesk, ist inzwischen aber so etwas wie der Branchenstandard. Von hier aus wird dann weitergearbeitet. Das machen teils die Kunden, in deren Auftrag Nexr das Motion Capturing durchgeführt hat.

Teils ist aber auch das Onpoint Studio selbst mit den nächsten Schritten beschäftigt. Niklas Bothe macht das normalerweise auf einem Standardrechner mit Geforce 3090. Wichtigstes Werkzeug ist die Unreal Engine 5, die Bothe nach eigenen Angaben geradezu "liebt".

Er verwendet vor allem ein Modul namens Meta Human. Das ist ein relativ neues Framework für die Unreal Engine, mit dem auf Basis der erstellten Daten lebensechte Figuren für Spiele und andere Anwendungen entstehen.

So weit der grundlegende Workflow und die Systeme, die nötig sind. Damit kann man Menschen, Roboter, Monster und noch allerlei mehr für Spiele und computergenerierte Filme und TV-Serien erstellen - und zwar bei höchster Qualität zu wesentlich günstigeren Kosten und schneller, als es die Animation von Hand erlauben würde.

Bei Nexr Technologies wird Motion Capture nicht nur für fertige Produkte verwendet. Auch Prototyping, also das versuchsweise Erstellen von Vorabversionen, ist damit möglich. Das komme relativ häufig vor, sagt Bothe.

"Wir haben dann etwa einen Entwickler in Madrid, der uns Anweisungen per Livestream in Echtzeit gibt und sich anschaut, wie das Ergebnis aus der Schulterkamera aussehen würde."

• 

Der Golem.de-Redakteur fährt mit der V-Cam durch eine virtuelle Szene. (Bild: Nexr Technologies)

Das alles ist auch in virtuellen Kulissen möglich: Producer Kevin steht zwar im Berliner Studio, auf dem Bildschirm ist aber ein Athlet am Strand zu sehen. Mithilfe einer sogenannten V-Cam können Kameraleute sogar wie in einem Egoshooter durch die Welt fahren und die virtuellen Szenen aus jedem Winkel zeigen und aufnehmen.

Solche neuen Möglichkeiten verändern die Arbeitsabläufe im Filmgeschäft dramatisch, wie Bothe uns erzählt. "Die Post-Production wird viel kürzer, dafür ist die Vorbereitungsphase länger." Unterm Strich könnten die Macher trotzdem Geld sparen, und das bei immer besserer Qualität.

Bis es so weit sei, seien aber noch ein paar Probleme zu lösen. So wünschten sich die Produzenten etwa, mit 8K-Auflösungen arbeiten zu können. Nur gebe es da keinerlei Standards, so dass die Daten weder sinnvoll gespeichert noch übertragen werden könnten.

Derzeit ist 4K der Standard, die mit Abstand wichtigste Schnittstelle ist schlicht HDMI - da muss auch der größte Weltfußballer momentan noch durch.