Nvidia Get3D: Software generiert 3D-Modelle aus 2D-Bildern für Games
Unternehmen wie Nvidia kommen in der KI-Forschung stets mit neuen Ideen voran. Ein aktuelles Forschungsprojekt des Grafikkartenherstellers ist Get3D(öffnet im neuen Fenster) (Generate Explicit Textured 3D meshes), ein Machine-Learning-Modell, welches 2D-Bilder in texturierte und nutzbare 3D-Objekte umwandelt. Diese fertigen Modelle sollen dann etwa als Assets in der Spieleentwicklung oder in anderer Software genutzt werden können. Nvidia stellt die Software auf Github(öffnet im neuen Fenster) zur Nutzung bereit.
Ein fertig trainiertes Get3D-Modell soll per Inferencing 20 Formen pro Sekunde auf einer Nvidia-GPU erstellen können. Es dauert also etwas, bis ein komplettes Modell samt Textur fertiggestellt wird, da sich diese typischerweise aus vielen Formen zusammensetzen. Als Grundformen werden herkömmliche Polygone, also Dreiecke, zu einem nutzbaren 3D-Mesh zusammengeführt.
Mit Machine Learning Texturen generieren
Für das Training wurden 1 Million Bilder von Objekten und Personen auf mehreren A100-Tensor-Core-GPUs verarbeitet. Mithilfe dieses Modells können dann von Usern präsentierte neue und unbekannte Bilder ebenfalls in 3D-Modelle gewandelt werden. Ein Beispiel: Nvidia hat mit einem Satz an Bildern von Fahrzeugen ein Modell trainiert, welches Trucks, Rennwagen und Limousinen als 3D-Modelle darstellen kann.
Mithilfe diverser Textparameter können die generierten Texturen zudem angepasst werden. So ist es am Beispiel der Fahrzeuge etwa möglich, ausgebrannte Wracks oder komplett fabrikneu aussehende Modelle zu kreieren. Dabei kommt ein weiteres neuronales Netzwerk zum Einsatz: Nvidias StyleGAN-NADA(öffnet im neuen Fenster) .
Ein paar Beispiele zeigen die Ergebnisse beider Modelle in Aktion. 3D-Modelle sehen bereits relativ detailreich aus. Allerdings bleibt die Auflösung weiterhin ein größeres Problem. Würden Designteams so generierte Modelle für Games oder Präsentationen nutzen, wären sie wohl für 3rd- oder First-Person-Games zu schlecht. In weiterer Entfernung, wie es etwa bei Navigationsapps oder Strategiespielen der Fall ist, könnten sie eher genutzt werden.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.