Fotogrammetrie: Epic Games und Nvidia machen 3D aus 2D

Unterschiedliche technische Ansätze, vergleichbare Ergebnisse: Epic Games und Nvidia verwenden Smartphones zum Erstellen von 3D-Objekten.

Artikel veröffentlicht am 5. April 2022, 13:15 Uhr, Peter Steinlechner

Artwork von Reality Scan (Bild: Epic Games)

Unter dem Namen Reality Scan hat Epic Games eine App für iOS veröffentlicht, mit der Anwender per Smartphone alle möglichen Alltagsgegenstände als 3D-Assett erfassen können. Traditionell sind dazu meist Setups mit mehreren Kameras nötig, damit alle Seiten der Objekte aufgenommen werden können.

Im Video stellt Epic Games die Technologie mit einem Ledersessel vor, der von allen Seiten gefilmt wird. Die Software macht aus diesen 2D-Bildern dann ein Gittermodell, das unter anderem in ein Spiel eingebettet werden kann - beispielsweise über die Plattform Scetchfab, die an dem Projekt beteiligt ist.

Reality Scan gibt es momentan nur für iOS in einer Beta über Testflight, das Kontingent von 10.000 Teilnehmern ist bereits ausgeschöpft. Es soll später erweitert werden, außerdem ist eine Version für Android geplant.

Eine im Ansatz vergleichbare Technologie hat Nvidia bereits Ende März 2022 auf seiner Hausmesse GPU Technology Conference vorgestellt. Dort heißt das System NeRF - was für Neural Radiance Field steht.

Für NeRF wird keine besondere Kamera verwendet, stattdessen kann das System auf Basis von Fotos - die allerdings im Idealfall auch um das Objekt herum aufgenommen wurden - eine 3D-Umgebung erstellen. Ein paar Dutzend Schnappschüsse sollen reichen, außerdem werden laut Firmenblog noch Daten über die Kamerawinkel benötigt - dazu gibt es keine weiteren Details.

NeRF arbeitet mithilfe eines entsprechend trainierten neuronalen Netzwerks, das besonders den Lichteinfall in seinen Berechnungen berücksichtigt und inzwischen je nach Vorlage nur wenige Augenblicke für seine Arbeit benötigt.

Das System kommt sogar mit Videos (60 fps) klar, so dass beispielsweise autonom fahrende Autos bei der Analyse der Umgebungen unterstützt werden können. Als Hardware soll eine einfache Grafikkarte von Nvidia ausreichen - idealerweise mit Tensor-Kernen.

Weitere Anwendungsbereiche sind die Objekterstellung für 3D-Umgebungen, etwa in Spielen oder bei der Produktion von drehbaren Ansichten für Onlineshops. So können die Käufer die Waren aus allen Perspektiven begutachten.