Facebook: KI zum Erkennen von Deep Fakes ist minimal besser als raten

Mehr als 2.000 Entwicklerteams haben KIs eingereicht, die Deep Fakes erkennen sollten. Die Ergebnisse sind ernüchternd, die Erkenntnisse gut.

Artikel veröffentlicht am 15. Juni 2020, 11:16 Uhr, Oliver Nickel

Die KI zum Erkennen von Deep Fakes ist etwas genauer als ein Münzwurf. (Bild: Oliver Nickel/Golem.de)

Facebook hat die Ergebnisse seiner Deepfake Detection Challenge bekanntgegeben. 2.114 Entwicklerteams haben ab September 2019 ihre KI-Modelle eingereicht. Das Ziel war es, eine Software zu entwickeln, die automatisiert und möglichst zuverlässig durch eine andere KI gefälschte Videos - auch Deep Fakes genannt - erkennen kann. Gewinner ist das Programm des Entwicklers Selim Seferbekov, welches eine Genauigkeit von 65,18 Prozent beim Erkennen von unbekannten Deep Fakes, dem Black-Box-Datensatz aus 10.000 Videos, aufweisen konnte. Das ist nur wenig mehr, als würde eine zufällige Entscheidung durch Raten mit einer Genauigkeit von 50 Prozent getroffen werden.

Im Jahr 2019 hatte die Challenge, die Facebook in Kooperation mit Microsoft und mehreren technischen Universitäten angekündigt hatte, begonnen. Kurz darauf hatte das Unternehmen einen Vorschaudatensatz mit 4.000 Videos veröffentlicht, der allen Teilnehmern öffentlich zugänglich war. Es ist daher wenig überraschend, dass an diesen Quelldateien, die allerdings eher weniger praktische Relevanz haben, eine Genauigkeit von 82,56 Prozent erreicht wurde.

Facebook will weiterentwickeln

Facebook gibt an, dass trotz der ernüchternden Ergebnisse im Black-Box-Test einige interessante Beobachtungen in der Forschung für die Erkennung von Deep Fakes gemacht wurden. So habe keines der vielen Entwicklerteams forensische Methoden für die Gesichtserkennung genutzt, etwa das Untersuchen von Artefakten und Bildrauschen - Effekte, die während der Erstellung eines Deep Fakes auftauchen können. Das sei eine Möglichkeit, die Genauigkeit der Modelle noch zu verbessern.

Auch wurde etwa das DS-WAN-Modell genutzt. Dieses verwendet schwaches Supervised Learning, um verschiedene Teile eines Gesichts, also etwa Augen, Mund und Nase, zu analysieren und diese dann entweder zu ignorieren oder genauer zu betrachten. Dieses vorherige Filtern von Fokuspunkten soll Overfitting entgegenwirken - also dem Effekt, dass Modelle durch zu viele Parameter weniger performant werden und zu sehr einfach nur die Quelldaten reproduzieren.

Facebook selbst hat ebenfalls versucht, ein Modell einzureichen. Allerdings habe dies durch Laufzeitprobleme keine Ergebnisse abliefern können. Das Team werde jedoch nicht aufgeben. "Techniken zu entwickeln, die Deep-Fake-Videos effizient entdecken können, sind für uns alle wichtig. Wir werden weiterhin offen mit anderen Experten arbeiten und diese Herausforderung gemeinsam angehen", schreibt das Unternehmen im Blogpost.