KI: Machine-Learning-System scannt Personen als 3D-Modelle ein

Deutsche Forscher entwickeln einen 3D-Scanner, der mit nur einer Kamera und maschinellem Lernen Personen aufnimmt und in editierbare Modelle umwandelt. Damit sollen Spieler eigene Avatare erstellen können. Noch ist das System aber nicht genau genug dafür.

Artikel veröffentlicht am ,
Der KI-Algorithmus wandelt Personen in 3D-Modelle um.
Der KI-Algorithmus wandelt Personen in 3D-Modelle um. (Bild: Max-Planck-Institut/TU Braunschweig)

Forscher des Max-Planck-Institutes und der TU Braunschweig arbeiten an einem 3D-Scanner, der Machine Learning zum Erstellen von virtuellen Modellen echter Personen verwendet. Die Software nimmt dabei mehrere Frames von Probanden aus verschiedenen Richtungen auf, errechnet die räumliche Tiefe und wandelt dieses Material in eine 3D-Figur um. Aus den Bildern werden außerdem entsprechende Texturen erstellt, die Nutzer auf das generierte Modell anwenden können.

Stellenmarkt
  1. System Test Engineer (m/f/d)
    Advantest Europe GmbH, Böblingen
  2. Java Anwendungsentwickler (w/m/d) Backend
    ING Deutschland, Frankfurt am Main
Detailsuche

Obwohl es 3D-Scanning-Methoden echter Personen bereits gibt, soll der Vorteil dieses Systems sein, dass dazu nur eine Kamera und ein daran angeschlossener Rechner benötigt wird. Zum Scannen muss sich die Zielperson um die eigene Achse drehen, während die Kamera das Videomaterial aufnimmt. Im anschließenden Schritt trennt der Algorithmus den Hintergrund von der eigentlichen Person. Es ist also sinnvoll, vor einer farblich gleichmäßigen Szene oder einem Greenscreen zu stehen, damit Kanten korrekt erkannt werden.

Gelenke und Kleidung werden generiert

Ein trainiertes Machine-Learning-Modell errechnet daraus ein 3D-Abbild und die Position der Gelenke - inklusive Haaren und Kleidung. Das ist zum späteren Animieren wichtig, wenn Arme und Beine per Keyframe-Animation bewegt werden sollen. Erste Versuche sind bereits erfolgreich und haben eine Genauigkeit von etwa 5 Millimetern. Wobei hervorstehende Körperteile wie Brust und Hüfte weniger genau erkannt werden. Ein Verbesserungsschritt wäre es laut den Entwicklern, das generierte Schattenabbild für die spätere Umdandlung noch detaillierter zu machen. Statt einem flachen weißen Hemd wären dann etwa sichtbare Falten in diesem Hemd denkbar. Auch Haare sind bei einer Toleranz von 5 mm noch eher ein Knäuel als eine funktionierende Frisur.

Die Forscher können sich solche importierten Modelle für die Entwicklung von persönlichen Avataren in Games vorstellen. Auch ein Einsatz in Virtual Reality können sie sich denken. Dort bewegen sich Spieler sogar von Natur aus im Kreis. Ein Live-Rendering wäre daher theoretisch möglich - vielleicht in Zukunft Realität.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Potential Motors
Winziges E-Offroad-Wohnmobil mit 450 kW vorgestellt

Potential Motors hat mit dem Adventure 1 ein kleines Offroad-Wohnmobil mit E-Motoren vorgestellt, die insgesamt 450 kW Leistung erbringen.

Potential Motors: Winziges E-Offroad-Wohnmobil mit 450 kW vorgestellt
Artikel
  1. Minority Report wird 20 Jahre alt: Die Zukunft wird immer gegenwärtiger
    Minority Report wird 20 Jahre alt
    Die Zukunft wird immer gegenwärtiger

    Minority Report zog aus, die Zukunft des Jahres 2054 vorherzusagen. 20 Jahre später scheint so manches noch prophetischer.
    Von Peter Osteried

  2. Luftfahrt: Wisk Aero zeigt autonomes Flugtaxi
    Luftfahrt
    Wisk Aero zeigt autonomes Flugtaxi

    Das senkrecht startende und landende Lufttaxi soll in fünf Jahren im regulären Einsatz sein.

  3. Gegen Agile Unlust: Macht es wie Bruce Lee
    Gegen Agile Unlust
    Macht es wie Bruce Lee

    Unser Autor macht seit vielen Jahren agile Projekte und kennt "agile Unlust". Er weiß, warum sie entsteht, und auch, wie man gegen sie ankommen kann.
    Ein Erfahrungsbericht von Marvin Engel

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • MindFactory (u. a. PowerColor RX 6700 XT Hellhound 489€, ASRock RX 6600 XT Challenger D OC 388€) • Kingston NV2 1TB (PS5) 72,99€ • be quiet! Silent Loop 2 240 99,90€ • Star Wars: Squadrons PS4a 5€ • Acer 24"-FHD/165 Hz 149€ + Cashback • PCGH-Ratgeber-PC 3000 Radeon Edition 2.500€ [Werbung]
    •  /