CGI in Filmen: Disney will Deep Fakes gegen den Uncanny Valley nutzen

Ein Forscherteam bei Disney arbeitet an einer Kombination aus KI und traditioneller CGI. Gesichter sollen dadurch realistischer wirken.

Artikel veröffentlicht am 1. Dezember 2021, 14:51 Uhr, Oliver Nickel

Disneys Forschungsprojekt kombiniert CGI mit KI-Software. (Bild: Disney)

Schon im Sommer 2021 wurde klar: Mit computergenerierten Gesichtstexturen mittels Deep Fakes will Disney weiter experimentieren. Die KI-Forschungsabteilung im Konzern hat nun eine Hybrid-Lösung vorgestellt. Diese soll mittels Deep Fakes und per Motion Capturing und manuell erstellter CGI wesentlich realistischer wirkende Gesichter erschaffen. Das System soll etwa auch existierende Gesichter mit künstlich erzeugter Mimik verändern können.

Der Deep-Fakes-Ansatz generiert dabei laut dem Magazin Unite.ai vor allem die Augen und Mundpartien von computeranimierten Gesichtern. Das Magazin bezieht sich auf ein Video von Disney. Besagte Partien gehören aktuell noch zu den großen Schwachstellen manueller CGI und müssen in teils langwieriger Arbeit von Künstlern Frame für Frame angepasst werden.

Dabei wird eine Hauttextur aus klassischer CGI generiert, die das Gesicht darstellen soll. Diese Textur verbindet Disney mit Nvidias StyleGAN2, einem auf Tensorflow basierendem Bildmodellierer. Das System generiert dann aus der Gesichtsmaske automatisiert zufällige passende Köpfe auf Basis diverser Parameter und aus einer vorgegebenen Datenbank an Bildern.

Weniger Uncanny Valley bei Augen und Mund

Beide Systeme kombiniert sollen vor allem den Effekt des Uncanny Valley minimieren, der computeranimierte und fotorealistische Menschen fast echt aussehen lässt. Das menschliche Gehirn erkennt aber weiterhin künstliche Merkmale in Gesichtern von CGI-Personen, was als unheimlich (englisch uncanny) wahrgenommen wird.

Dass Personen unecht erscheinen, erkennen Zuschauer wohl vor allem an Augen- und Mundpartien - inklusive Gebiss, Zunge und anderen Merkmalen. Aus diesem Grund fokussiert sich Disney auf diese Bereiche besonders.

Generative Adversarial Networks (GANs) wie Nvidias StyleGAN2 können allerdings auch sich ändernde Beleuchtungseffekte automatisch generieren. Gleiches gilt für Köpfe bei sich ändernder Kameraperspektive. Gerade in diesem Bereich treten die meisten Artefakte auf: Haare werden teils nicht konsistent generiert und verändern sich deshalb je nach Kameraposition merklich.

Das System ist deshalb auch noch lange nicht fertig entwickelt.