Machine Learning: Deepfake-Apps schützen zu wenig vor Porno-Missbrauch

Millionenfach genutzte Deepfake-Apps lassen sich wohl ohne Vorkehrungen für Pornos oder sexualisierte Gewalt zweckentfremden.

Artikel veröffentlicht am ,
Mit Deepfake-Apps lassen sich leicht Gesichter austauschen.
Mit Deepfake-Apps lassen sich leicht Gesichter austauschen. (Bild: Oriental Image via Reuters Connect)

Eine gemeinsame Recherche von Netzpolitik.org und Spiegel kommt zu dem Schluss, dass derzeit vielfach genutzte Deepfake-Apps nicht oder nur unzureichend vor "bildbasierter, sexualisierter Gewalt" schützen. So lassen sich mit den Apps etwa direkt Gesichter in Porno-Videos oder auch auf Bikini-Bildern und Ähnlichem austauschen. Und selbst wenn diese Art Kategorie gebannt werde, seien immer noch sexualisierte Inhalte möglich.

Stellenmarkt
  1. Tender Manager (w/m/d)
    Bechtle GmbH, Hamburg
  2. (Senior) Agile Coach Consultant (m/w/d)
    AUSY Technologies Germany AG, Düsseldorf, Frankfurt am Main, Hamburg, München, Nürnberg
Detailsuche

Die sogenannte Deepfake-Technik ermöglicht es, mit Hilfe von Machine Learning in Videos etwa täuschend echt Gesichter auszutauschen. Das lässt sich für klassische Film- und Fernsehproduktionen nutzen, aber auch für pornografische Inhalte. Letzteres kann schnell zu Schwierigkeiten oder auch Belästigungen für betroffene Personen führen und geschieht auch meist ohne Einverständnis. Bereits im vergangenen Jahr zeigte sich, dass das Problem immer größer zu werden scheint.

Mit derartigen Angeboten werden immer mehr Grenzen überschritten, die bereits seit langem als Problem erkannt werden. So musste der Dienst Deepnude, der Bilder von Frauen in Nacktbilder verwandelt hatte, schon vor mehr als drei Jahren aufgrund des extrem großen Interesses eingestellt wurde.

Einfache Deepfake-Pornos bei Facemagic

Konkret untersucht haben die Beteiligten die Apps Facemagic, Faceplay und Reface. Insbesondere Facemagic fällt dabei negativ auf. Denn eine Überprüfung der erstellten Inhalte findet durch den Dienst offenbar überhaupt nicht statt. In dem Bericht heißt es: "So ließen sich bei unserem Test mit der Bezahlversion von Facemagic problemlos Deepfake-Pornos erstellen."

Golem Karrierewelt
  1. Einführung in das Zero Trust Security Framework (virtueller Ein-Tages-Workshop)
    02.11.2022, virtuell
  2. Data Engineering mit Python und Spark: virtueller Zwei-Tage-Workshop
    18./19.01.2023, Virtuell
Weitere IT-Trainings

Auf Nachfrage wird diese Möglichkeit jedoch vom Hersteller verneint. Das Erstellen von Deepfake-Pornos mit Facemagic sei demnach nicht erlaubt. Dazu, warum das Unternehmen dies dennoch technisch ermöglicht, wird jedoch keine Stellung bezogen. Diese Möglichkeit wird laut Netzpolitik außerdem wohl zahlreich genutzt und in entsprechenden Foren aktiv weiterempfohlen. Auch einige in dem Dienst von Facemagic verfügbare und von Nutzern erstellte Vorlagen stellten demnach sexualisierte Inhalte dar, heißt es.

Ob es der Dienst wirklich ernst meint damit, dass das Erstellen von pornografischen Inhalte mit der eigenen App wirklich verboten ist, bleibt auch unabhängig von den konkreten Möglichkeiten fraglich. So ergaben Recherchen des Magazins Motherboard im Frühjahr dieses Jahres bereits, dass die Macher der App womöglich mit der Nutzung für Deepfake-Pornos auf Pornowebseiten im Internet geworben hatten.

Vorkehrungen möglich, aber nicht konsequent umgesetzt

Dass es auch anders geht, als Deepfake-Pornos offenbar ohne jede Einschränkung zuzulassen, zeigen die Apps Faceplay und Reface. Hier sind explizite pornografische Inhalte nicht mit Hilfe der Dienste durch Nutzer erstellbar. Mit Faceplay sei es etwa überhaupt nicht möglich, eigene Vorlagen für die Deepfakes hochzuladen. Die App biete aber auch eine Kategorie für Bikini-Bilder und damit sexualisierte Inhalte.

Die Macher der App Reface verbieten ebenfalls das Erstellen von Deepfake-Pornos und unterbinden dies auch aktiv über die App. Nutzer, die dies mehrfach versuchten, würde dem Bericht zufolge auch gesperrt. Dennoch bietet auch Reface in seinen Vorlagen Kategorien etwa mit Unterwäschemodels oder auch die Frontseite des Magazins Playboy an, auf die mit der App andere Gesichter montiert werden können.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


OwenBurnett 18. Sep 2022 / Themenstart

Ist das so? Ich meine die ganzen nicht Pedophilen die sich den ganzen Tag lang...

Normaloit 18. Sep 2022 / Themenstart

Besten Dank für die Ausführungen! Muss ich mir im Herbst/Winter unbedingt mal in Ruhe...

Manhattan Julius 17. Sep 2022 / Themenstart

Mal so rein von der Sache her. Ja ist es. Wenn jemand sein eigenes Bild verändert ist...

User_x 17. Sep 2022 / Themenstart

Selbst wenn es Profi wäre, was hat man davon, als nen kurzen Lacher wo jeder weiß, dass...

Kommentieren



Aktuell auf der Startseite von Golem.de
Für 44 Milliarden US-Dollar
Musk will Twitter nun doch übernehmen

Tesla-Chef Elon Musk ist nun doch bereit, Twitter für den ursprünglich vereinbarten Preis zu kaufen. Offenbar will er einen Prozess vermeiden.

Für 44 Milliarden US-Dollar: Musk will Twitter nun doch übernehmen
Artikel
  1. Die große Umfrage: Das sind Deutschlands beste IT-Arbeitgeber 2023
    Die große Umfrage
    Das sind Deutschlands beste IT-Arbeitgeber 2023

    Golem.de und Statista haben 23.000 Fachkräfte nach ihrer Arbeit gefragt. Das Ergebnis ist eine Liste der 175 besten Unternehmen für IT-Profis.

  2. Monitoring von Container-Landschaften: Prometheus ist nicht alles
    Monitoring von Container-Landschaften
    Prometheus ist nicht alles

    Betreuer von Kubernetes und Co., die sich nicht ausreichend mit der Thematik beschäftigen, nehmen beim metrikbasierte Monitoring unwissentlich einige Nachteile in Kauf. Eventuell ist es notwendig, den üblichen Tool-Stack zu ergänzen.
    Von Valentin Höbel

  3. Roadmap: CD Projekt kündigt neues Cyberpunk und mehrere Witcher an
    Roadmap
    CD Projekt kündigt neues Cyberpunk und mehrere Witcher an

    Project Polaris wird eine Witcher-Saga, Orion das nächste Cyberpunk 2077 und Hadar etwas ganz Neues: CD Projekt hat seine Pläne vorgestellt.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • 3 Spiele für 49€ • Saturn Gutscheinheft • Günstig wie nie: LG OLED 48" 799€, Xbox Elite Controller 2 114,99€, AOC 28" 4K UHD 144 Hz 600,89€, Corsair RGB Midi-Tower 269,90€, Sandisk microSDXC 512GB 39€ • Bis zu 15% im eBay Restore • MindStar (PowerColor RX 6700 XT 489€) [Werbung]
    •  /