Phorum: Googles Software rendert Fotos von Menschen in 3D

Googles Projekt Phorum kann aus Bildern von Menschen nutzbare 3D-Modelle machen. Auch nicht sichtbare Teile werden dabei berechnet.

Artikel veröffentlicht am ,
Phorum errechnet 3D-Objekte aus einem 2D-Bild.
Phorum errechnet 3D-Objekte aus einem 2D-Bild. (Bild: Google Research)

Die Forscher Thiemo Alldieck, Mihai Zanfir und Cristian Sminchisescu von Google Research entwickeln ein neuronales Netzwerk für das Scannen von 2D-Bildern in nutzbare 3D-Objekte. Das Projekt Phorum hat sich speziell auf die Scans von Personen spezialisiert. Aus einem frontal geschossenen Bild kann das System nutzbare Modelle erstellen. Dabei werden Punkte, die nicht im Bild zu sehen sind - etwa die Rückseite der Person - automatisch hinzuberechnet.

Stellenmarkt
  1. Digitalisierungskoordinator*- in (m/w/d)
    Bundesamt für Auswärtige Angelegenheiten, Bonn
  2. Service Manager AppOps (m/w/d)
    operational services GmbH & Co. KG, Wolfsburg, Berlin, Frankfurt
Detailsuche

Außerdem generiert die KI aus den Bildpunkten Lichtreflexionen und Farben, die dann als Textur auf eine Figur gelegt werden können. Dabei werden zwei verschiedene Netzwerke genutzt. Ein Feature-Extraktor generiert Distanzwerte und Punkte innerhalb eines vorgegebenen 3D-Raumes. Ein Shading-Netzwerk errechnet auf Basis der Beleuchtung und des Normalenvektors aller Punkte dann Schattierungen und Farbwerte.

Genauer als andere Projekte dieser Art

Phorum ist laut den Forschern daher das einzige neuronale Netzwerk, das neben den Farben und Oberflächennormalen auch Helligkeitswerte und Schattierungen ausgibt, statt diese fest und als unveränderbare Konstanten zu integrieren. Es soll zudem wesentlich genauer arbeiten als andere Projekte ähnlicher Art, etwa Pifu und Arch.

Golem Karrierewelt
  1. Jira für Systemadministratoren: virtueller Zwei-Tage-Workshop
    08./09.09.2022, virtuell
  2. Entwicklung mit Unity auf der Microsoft HoloLens 2 Plattform: virtueller Zwei-Tage-Workshop
    10./11.10.2022, Virtuell
Weitere IT-Trainings

Erste Ergebnisse zeigt Google in einem Vorstellungsvideo. Das System scheint auch an nicht sichtbaren Stellen, etwa den Rückseiten der Models, gut zu funktionieren. Allerdings verliert ein konstruiertes Modell dort sichtbar an Detailreichtum. Mit weiterer Forschung könnten solche Modelle aber eventuell etwa in der Spielebranche hilfreich sein, wenn aus Concept Art ein 3D-Modell erstellt werden soll. Das ist bisher ein manueller und zeitintensiver Prozess.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
SFConservancy
Open-Source-Entwickler sollen Github wegen Copilot verlassen

Ähnlich wie schon vor Jahrzehnten mit Sourceforge sollen Open-Source-Projekte nun auch Github verlassen.

SFConservancy: Open-Source-Entwickler sollen Github wegen Copilot verlassen
Artikel
  1. Connect-Festnetztest: Telekom gewinnt, Vodafone schwach, Deutsche Glasfaser besser
    Connect-Festnetztest
    Telekom gewinnt, Vodafone schwach, Deutsche Glasfaser besser

    Erstmals nahm Deutsche Glasfaser an dem Vergleich teil und war besser als die Telekom. Allerdings sind beide in unterschiedlichen Kategorien gelistet.

  2. Wärmeversorgung: Berlin baut Thermoskanne gegen Gasnotstand
    Wärmeversorgung
    Berlin baut Thermoskanne gegen Gasnotstand

    Der Versorger Vattenfall baut in Berlin einen riesigen Warmwasserspeicher, um Häuser im Winter heizen zu können. Das könnte beim möglichen Gasnotstand helfen.

  3. Chrome OS Flex: Das Apple Chromebook
    Chrome OS Flex
    Das Apple Chromebook

    Ein zehn Jahre altes Notebook lässt sich mit Chrome OS Flex wieder flott machen. Wir haben Googles Betriebssystem ausprobiert und waren begeistert.
    Ein Erfahrungsbericht von Martin Wolf

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • MSI RTX 3080 12GB günstig wie nie: 949€ • AMD Ryzen 7 günstig wie nie: 259€ • Der beste 2.000€-Gaming-PC • Cooler Master 34" UWQHD 144 Hz günstig wie nie: 467,85€ • Asus RX 6900 XT OC günstig wie nie: 1.049€ • Mindstar (Gigabyte RTX 3060 399€) • Galaxy Watch3 45 mm 119€ [Werbung]
    •  /