Zum Hauptinhalt Zur Navigation Zur Suche

KI-Prompts: Wie Hugging Face für pornografische Inhalte genutzt wird

Eine NGO hat Module aufgesetzt und Prompts analysiert. Drei Viertel beinhalten explizite Inhalte, mehr als fünf Prozent Minderjährige.
/ Oliver Nickel
13 Kommentare Auf Google folgen (öffnet im neuen Fenster)
Hugging Face ermöglicht recht leichten Zugriff auf explzite Inhalte via KI. (Bild: Hugging Face/Montage: Golem)
Hugging Face ermöglicht recht leichten Zugriff auf explzite Inhalte via KI. Bild: Hugging Face/Montage: Golem

Das Portal Hugging Face(öffnet im neuen Fenster) ist eine der größten Quellen für KI-generierte Inhalte. Laut einem Bericht (PDF)(öffnet im neuen Fenster) der europäischen gemeinnützigen Organisation AI Forensics ist die Community aber auch eine Quelle für erotische und pornografische Inhalte. Demnach beinhalten 73 Prozent der analysierten Nutzerprompts auf untersuchten Modulen das Generieren expliziter Inhalte.

Die überwältigende Mehrheit, 94 Prozent, dieser Aufrufe generiert zudem Inhalte von Frauen. 6,7 Prozent der Prompts sollen Minderjährige involvieren. Das generelle Problem ist für AI Forensics dabei nicht, dass erotische oder sexuelle Inhalte erstellt werden können, sondern wie einfach dies ist und dass die wenigsten dieser Module eine Altersverifikation nutzen. Diese Verifikation wird zudem oft durch einen simplen Klick auf einen Button umgesetzt.

Mit Honeypot Prompts analysiert

So lassen sich diverse Module über den simplen Tag NSFW (Not safe for work) oder über andere Suchbegriffe finden. Eine solche Suche gibt bereits mehr als 100 Ergebnisse aus, die das Generieren von Bildern, Fotos, Comics oder Videos ermöglichen. Auch können LLMs erotische Situationen als Text generieren oder Gesichter von Personen durch die Gesichter anderer Menschen austauschen.

Die Daten stammen von einem Versuchsaufbau, den AI Forensics für den eigenen Bericht konstruiert hat. Das Team eröffnete dafür eigene Spaces als Honeypots und analysierte die Prompts der besuchenden User. Insgesamt 1.081 Abfragen wurden innerhalb einer Woche getätigt. Die aufgesetzten Module gaben keine Bilder aus. Allerdings wurden eingegebene Prompts später mit einem weiteren LLM, Google Gemma 4 32B, klassifiziert. Die jeweiligen Useraccounts, IP-Adressen oder andere Metadaten wurden nicht aufgezeichnet.


Relevante Themen