Neuronales Netzwerk: Disneys Software macht Schauspieler jünger oder älter

Neuronale Netze wie Fran könnten Darsteller in Disney -Filmen zuverlässig altern lassen oder verjüngen. Das spart viel manuelle CGI-Arbeit.

1. Dezember 2022 um 11:24 Uhr / Oliver Nickel

Fran lässt Menschen zuverlässig alt aussehen (Ergebnis rechts). Bild: Disney

Das Forschungsteam von Disney Research hat ein neues neuronales Netz vorgestellt, das Gesichter altern lassen oder verjüngen kann. Das Face Re-Aging-Network (Fran) soll dies unter verschiedenen Beleuchtungsbedingungen und relativ blickwinkelstabil erreichen. Das Ergebnis soll zudem in einer möglichst hohen Auflösung dargestellt werden. Den Prozess nennt Disney auch Re-Aging, weil das Modell Gesichter in beide Altersrichtungen verändern kann.

Der Ansatz mittels neuronalen Netzwerks unterscheidet sich von klassischen Re-Aging-Verfahren, bei denen etwa 3D-Modelle des gewünschten Gesichts extrahiert und manuell verändert werden. Der CGI-Kopf (CGI: Computer Generated Imagery) wird anschließend in die entsprechende Szene gesetzt. Alternativ können geschulte Künstler Schauspieler in der Postproduktion manuell verändern. Dabei muss allerdings jedes einzelne Frame angefasst werden, was viel Zeit kosten kann.

Haare werden nicht verändert

Erste Testergebnisse von Fran zeigte das Unternehmen in einem kurzen Video. Die Software produziert kaum noch sichtbare Artefakte und scheint bisher überzeugend zu funktionieren. Die Parameter folgen zuverlässig auch ruckartigen Kopfbewegungen. Außerdem können dabei gleichmäßige Kamerafahrten und -schwenks durchgeführt werden.

Fran wurde anhand Tausender zufallsgenerierter Gesichter im Alter von 18 bis 85 Jahren trainiert, die ihrerseits aus dem Machine-Learning-Modell StyleGAN 2 stammen. Falten oder weichere Haut werden als Maske generiert und anschließend Frame für Frame automatisch auf die Zielperson gelegt. Es sind kaum Fransen und Artefakte an den Gesichtsrändern zu erkennen. Auch fehlen die typischen Verzerrungen bei Perspektivwechseln größtenteils. Allerdings wird dabei nur das Gesicht manipuliert. Andere Parameter wie etwa graue Haare können damit nicht erstellt werden.

Dafür wird entweder ein weiteres Modell benötigt oder wieder auf manuelle Arbeit zurückgegriffen.