Everybody Dance Now: KI lässt Laien wie Profitänzer aussehen
Forscher haben ein neuronales Netzwerk ermittelt, das Körperbewegungen einer Person imitiert und diese auf den Körper einer anderen Person überträgt. Das Projekt Everybody Dance Now(öffnet im neuen Fenster) zeigt dieses Verhalten durch verschiedene Tanzeinlagen. Mit dem trainierten Modell ist es demnach möglich, ungeübte Tänzer wie Ballettkünstler oder Robodancer aussehen zu lassen. Ein Youtube-Video zeigt erste interessante, wenn auch nicht perfekte Ergebnisse.
Die Gründer des Projekts sind vier Forscher der Califonia University in Berkley. Sie erklären in ihrem wissenschaftlichen Dokument ihren Ansatz: Anhand von Gelenkpunkten und dem generierten Skelett können Bewegungen einer Person analysiert und auf andere Personen übertragen werden, auch wenn deren Positionen und Körperbau nicht genau übereinstimmen. Aus einem Quellvideo wird dabei Bild für Bild ein Tupel aus dem Körper der Person und des dazugehörigen Skeletts erstellt. Dieses nutzt das neuronale Netzwerk, um den Körper der Zielperson zu simulieren.
Separates neuronales Netz für das Gesicht
Dabei setzen die Forscher ein zweites neuronales Netzwerk ein, das die ausgegebenen Bilder überprüft und auf ihre Authentizität überprüft. Diese sich selbst prüfenden Generative Adversial Networks (GANs) sind eine gern genutzte Methode im Trainieren von Machine-Learning-Systemen. Um eine möglichst flüssige Bewegung zu erreichen, ist jedes generierte Bild an den Frame davor gekoppelt. Außerdem wird für die Darstellung des Gesichts ein separates GAN verwendet, welches nur Gesichtsbewegungen imitiert und diese auf das Gesicht der Zielperson aufsetzt.
Ähnliche Technik wurde bereits mit der Software Fakeapp realisiert , mit der Schauspieler in Politiker verwandelt werden. Der Ansatz, ein abstraktes Animationsskelett zu verwenden, erinnert hingegen an Googles Posenet . Wahrscheinlich nutzen die Forscher dieses Paket für ihr Projekt. Schließlich ist es im viel genutzten Tensor Flow integriert.