Abo
  • IT-Karriere:

Mesh und Punktwolke

Dazu werden die Daten zunächst von den Capture PCs auf Datenserver verschoben, auf denen die Verarbeitung erfolgt. Das geschieht hauptsächlich auf Grafikkarten, weshalb jeder Server mindestens vier davon hat.

Stellenmarkt
  1. KVL Bauconsult München GmbH, München
  2. Finanzbehörde - Personalabteilung Freie und Hansestadt Hamburg, Hamburg

Jedes Kamerapaar erfasse die Szenerie mit dem Schauspieler aus einer Perspektive, sagt Schreer. "Jedes Stereosystem erzeugt demnach einen Satz von 3D-Punkten, und diese 3D-Informationen über alle Stereosysteme werden fusioniert, so dass dann ein geschlossenes 3D-Modell, eine 3D-Punktwolke resultiert. Da wir die Analyse über eine Videosequenz machen, erhalten wir also eine Sequenz von 3D-Punktwolken."

Nun seien 3D-Punktwolken aber kein geeignetes Format für Computergrafiken, sagt Schreer. Deswegen werde die Punktwolke in ein Mesh überführt. Das sei aber immer noch viel zu groß zum Rendern. "Deswegen setzen wir danach noch einen Mesh-Reduktions-Algorithmus an, der dann ein Mesh pro Frame erzeugt, das für das Endgerät, auf dem die Mesh-Sequenz verwendet wird, die geeignete Größe hat."

Bei einer VR-Experience, die mit einem HMD wie der HTC Vive oder Oculus Rift betrachtet wird, besteht so ein Mesh aus etwa 70.000 Dreiecken, bei einer Augmented-Reality-Anwendung für ein mobiles Endgerät wie Tablet oder Smartphone aus 10.000 bis 20.000 Dreiecken - jeweils pro Frame.

Die Informationen über Farbe und Textur der abgebildeten Personen oder Objekte stecken in der Punktwolke. "Wir trennen hier die Berechnung der Geometrie von der Bestimmung der Textur. Wir erzeugen zuerst das Mesh und anschließend projizieren wir die Textur aus den Kameras auf das entsprechende Mesh", erklärt Schreer. "Dann enthält jedes Mesh zusätzlich den Texturatlas, der abhängig von der Zielanwendung 1K, 2K oder 4K haben kann. Das hängt von der Performance des Endgerätes ab." Das alles ist sehr aufwendig und kostet entsprechend Rechenzeit: Eine Minute volumetrisches Video zu rendern, dauert je nach Auflösung 12 bis 24 Stunden.

Der Schauspieler wird im Kostüm aufgenommen

Vorteil dieser Aufnahmetechnik: Der Schauspieler trägt vor der Kamera das Kostüm, das für den Film oder die VR-Experience nötig ist - wie beim herkömmlichen Film. Das ermögliche eine möglichst realistische Abbildung seines Spiels, sagt Schreer. Das zeichne eine Aufnahme im volumetrischen Studio gegenüber dem Motion Capture aus, das üblicherweise für Animationsproduktionen eingesetzt wird. Dabei werden die Bewegungen eines Schauspielers aufgenommen, das Kostüm wird anschließend digital auf den Körper montiert.

  • Was ist ein volumetrisches Studio? Da stellen wir uns mal ganz dumm und sagen: Das ist ein großer, runder, weißer Raum. (Bild: Werner Pluta/Golem.de)
  • Den Rest erklärt uns Oliver Schreer vom Fraunhofer HHI, der das Studio mit entwickelt hat. (Bild: Martin Wolf/Golem.de)
  • In dem Studio nehmen 32 Kameras auf drei Ebenen eine Person auf, die auf der runden Fläche agiert. (Bild: Werner Pluta/Golem.de)
  • Es sind 5K-Industriekameras ... (Bild: Werner Pluta/Golem.de)
  • ... mit 35-mm-Objektiven. (Bild: Werner Pluta/Golem.de)
  • Die Kameras sind als Paare für 3D-Aufnahmen angeordnet. (Bild: Martin Wolf/Golem.de)
  • Die Daten werden per Glasfaser zu Capture-PCs übertragen, wo sie gespeichert werden - bis zu 1,6 TByte pro Minute. (Bild: Martin Wolf/Golem.de)
  • LED-Paneele sorgen für eine gleichmäßige Ausleuchtung des Studios. Sie können jede beliebige Lichtstimmung erzeugen. (Bild: Werner Pluta/Golem.de)
  • Und darum geht es: eine möglichst realistische 3D-Darstellung eines Menschen aufzunehmen. (Bild: Werner Pluta/Golem.de)
  • Gesichtszüge und Bewegungen von Kleidung lassen sich mit dieser Aufnahmetechnik besser als bisher abbilden. (Bild: Werner Pluta/Golem.de)
  • Per HMD lassen sich die VR-Bilder erkunden - der Boxring schützt den VR-Nutzer vor schmerzhaften Begegnungen mit der echten Realität. (Bild: Werner Pluta/Golem.de)
  • Die VR-Experience An Entire Life hat das Fraunhofer HHI zusammen mit der Ufa produziert. (Bild: Werner Pluta/Golem.de)
  • Wo ist die Geigerin denn nur? Für AR-Anwendungen auf mobilen Geräten ist die Auflösung geringer als für VR-Experiences, die mit HMD erkundet werden. (Bild: Werner Pluta/Golem.de)
Gesichtszüge und Bewegungen von Kleidung lassen sich mit dieser Aufnahmetechnik besser als bisher abbilden. (Bild: Werner Pluta/Golem.de)

Das sei deutlich aufwendiger, als wenn der Schauspieler direkt mit Kostüm gefilmt werde. "Wir machen hier alles in einem: Wir erfassen den Schauspieler in seiner ganzen Natürlichkeit, in seiner vollständigen Bewegung, und erhalten nach der vollautomatischen Verarbeitung sofort eine Mesh-Sequenz, die dann in CGI-Szenen integriert werden kann", sagt Schreer. Weiterer Vorteil: Es sei nach wie vor schwierig, Gesichtsausdrücke und sich bewegende Kleidung realistisch zu animieren. Im volumetrischen Studio werde beides aufgenommen und entsprechend auch realistisch abgebildet.

Das volumetrische Studio kann aber noch mehr: Es erzeugt praktisch jede beliebige Lichtstimmung.

 Volumetrisches Studio: Neues Studio ermöglicht Aufnahmen für begehbaren FilmLEDs erzeugen jede beliebige Lichtstimmung 
  1.  
  2. 1
  3. 2
  4. 3
  5.  


Anzeige
Top-Angebote
  1. (u. a. For Honor für 11,50€, Anno 1404 Königsedition für 3,74€, Anno 2070 Königsedition...
  2. (u. a. Total war - Three Kingdoms für 35,99€, Command & Conquer - The Ultimate Collection für 4...

mojocaliente 06. Aug 2018

Du vergleichst da Äpfel mit Birnen. Das Buch ist kein visuelles Medium und darauf...

masel99 04. Aug 2018

Es mag ja was dran sein, was du da schreibst aber was hat das unter dem Artikel zu...

Alexander1996 03. Aug 2018

Du hast mir gerade den Tag versüßt :)

Eheran 03. Aug 2018

Wenn die so animiert werden wie bei diesem neuen Spiderman-Spiel, was hier gestern...


Folgen Sie uns
       


Honor 20 Pro - Hands on

Das Honor 20 Pro ist das neue Oberklasse-Smartphone der Huawei-Tochter. Als Besonderheit gibt es eine Vierfachkamera, um für möglichst viele Objektivsituationen gewappnet zu sein. Hinweis vom Hersteller: "Bei den gezeigten Geräten der Honor-20-Serie handelt es sich um Demoversionen, die sich in Aussehen und Funktion von der finalen Version unterscheiden können."

Honor 20 Pro - Hands on Video aufrufen
LEDs: Schlimmes Flimmern
LEDs
Schlimmes Flimmern

LED-Licht zu Hause oder im Auto leuchtet nur selten völlig konstant. Je nach Frequenz und Intensität kann das Flimmern der Leuchtmittel problematisch sein, für manche Menschen sogar gesundheitsschädlich.
Von Wolfgang Messer

  1. Wissenschaft Schadet LED-Licht unseren Augen?
  2. Straßenbeleuchtung Detroit kämpft mit LED-Ausfällen und der Hersteller schweigt
  3. ULED Ubiquitis Netzwerkleuchten bieten Wechselstromversorgung

Radeon RX 5700 (XT) im Test: AMDs günstige Navi-Karten sind auch super
Radeon RX 5700 (XT) im Test
AMDs günstige Navi-Karten sind auch super

Die Radeon RX 5700 (XT) liefern nach einer Preissenkung vor dem Launch eine gute Leistung ab: Wer auf Hardware-Raytracing verzichten kann, erhält zwei empfehlenswerte Navi-Grafikkarten. Bei der Energie-Effizienz hapert es aber trotz moderner 7-nm-Technik immer noch etwas.
Ein Test von Marc Sauter

  1. Navi 14 Radeon RX 5600 (XT) könnte 1.536 Shader haben
  2. Radeon RX 5700 (XT) AMD senkt Navi-Preise noch vor Launch
  3. AMD Freier Navi-Treiber in Mesa eingepflegt

Erasure Coding: Das Ende von Raid kommt durch Mathematik
Erasure Coding
Das Ende von Raid kommt durch Mathematik

In vielen Anwendungsszenarien sind Raid-Systeme mittlerweile nicht mehr die optimale Lösung. Zu langsam und starr sind sie. Abhilfe schaffen können mathematische Verfahren wie Erasure Coding. Noch existieren für beide Techniken Anwendungsgebiete. Am Ende wird Raid aber wohl verschwinden.
Eine Analyse von Oliver Nickel

  1. Agentur für Cybersicherheit Cyberwaffen-Entwicklung zieht in den Osten Deutschlands
  2. Yahoo Richterin lässt Vergleich zu Datenleck platzen

    •  /