Kampf gegen Kindesmissbrauch: Die wichtigsten Antworten zur Chatkontrolle
Die EU-Kommission will den Kampf gegen den sexuellen Missbrauch von Kindern verschärfen. Dazu hat sie am 11. Mai 2022 einen Verordnungsentwurf vorgelegt , der soziale Medien, Hosting-Anbieter und Messengerdienste zum Erkennen von Missbrauchsmaterial und Anwerbungsversuchen von Kindern (Cybergrooming) verpflichten soll. Betroffen sind aber auch Internetprovider und Appstores, die auf Anordnung den Zugang zu inkriminierten Inhalten oder Apps blockieren müssen. Golem.de erläutert die Hintergründe der Pläne.
Was will die EU-Kommission erreichen?
Nach Angaben der Kommission(öffnet im neuen Fenster) hat die Verbreitung von Missbrauchsmaterial seit Beginn der Coronavirus-Pandemie stark zugenommen. Das National Center for Missing & Exploited Children (NCMEC) erhielt demnach im Jahr 2021 fast 30 Millionen Hinweise, Ermittler identifizierten 4.000 neue Missbrauchsopfer. Zwischen 2020 und 2021 soll die Zahl der Cybergrooming-Fälle um 16 Prozent gestiegen sein.
Die Kommission hält die freiwilligen Anstrengungen von IT-Konzernen wie Facebook, Google, Snapchat, Microsoft oder Twitter für nicht ausreichend. Zudem stammten in den Jahren 2019 und 2020 rund 95 Prozent aller Hinweise nur von einem Anbieter: Facebook. Anbieter wie Google nutzen dazu seit 2008 die von Microsoft entwickelte Technik Photo-DNA(öffnet im neuen Fenster) . Dabei wird von Fotos ein Hashwert gebildet, der sich auch durch Vergrößerungen und Verkleinerungen des Fotos nicht verändert.
Microsoft verschenkte die Technik im Jahr 2013 an das NCMEC, um auf diese Weise den Einsatz gegen die Verbreitung kinderpornografischer Fotos (englisch: child sexual abuse material (CSAM)) zu unterstützen. Internetdienste, die eine Ende-zu-Ende-Verschlüsselung anbieten, können diese Verfahren jedoch nicht nutzen.
Welche Auflagen sollen künftig gelten?
Der Entwurf sieht eine ganze Reihe von Anforderungen für die Unternehmen vor. Betroffen sind generell "relevante Dienste der Informationsgesellschaft" , wozu Hostprovider (auch Foto- und Videoplattformen), interpersonelle Kommunikationsdienste wie Messenger und E-Mail, Appstores und Zugangsprovider zählen. Ja nach Art des Dienstes gibt es unterschiedliche Vorgaben.
- Pflicht zur Bewertung und Minderung von Risiken: Anbieter von Hosting- oder Messengerdiensten müssen in einer Risikobewertung darlegen, inwieweit ihre Dienste für die Verbreitung von Material über sexuellen Kindesmissbrauch oder für Grooming missbraucht werden könnten. Die Anbieter müssen auch Maßnahmen zur Risikominderung vorsehen. Dazu kann beispielsweise eine Altersverifizierung gehören oder eine Aufhebung der Verschlüsselung.
- Aufdeckungspflichten auf Basis von Anordnungen: Die Mitgliedstaaten sollen nationale Behörden benennen, die für die Überprüfung der Risikobewertung zuständig sind. Stellen diese Behörden fest, dass ein erhebliches Risiko bleibt, können sie bei einem Gericht oder einer unabhängigen nationalen Behörde eine Anordnung beantragen, mit der verfügt wird, dass bekanntes oder neues Material zu sexuellem Kindesmissbrauch oder Kontaktanbahnungen aufgespürt werden muss. Diese Anordnungen sind zeitlich befristet und sollen dazu dienen, eine bestimmte Art von Inhalt in einem bestimmten Dienst aufzudecken.
- Meldepflichten: Anbieter, die Online-Inhalte mit sexuellem Kindesmissbrauch aufgespürt haben, müssen diese an ein neues EU-Zentrum für Fragen des sexuellen Kindesmissbrauchs (EU-Zentrum) melden.
- Entfernung und Blockade: Wird Material über sexuellen Kindesmissbrauch nicht umgehend entfernt, können die nationalen Behörden eine Entfernungsanordnung erlassen. Zugangsprovider werden außerdem verpflichtet, den Zugang zu Bildern und Videos zu sperren, wenn diese nicht entfernt werden können, beispielsweise weil sie außerhalb der EU in kooperationsunwilligen Ländern gehostet werden.
- Löschung von Apps: Appstores müssen sicherstellen, dass Kinder keine Apps herunterladen können, die eine erhöhte Gefahr bergen, dass Täter darüber Kontakt zu den Kindern suchen.
Wie kann so ein Scan funktionieren
Die Entdeckung von bereits bekanntem Missbrauchsmaterial könnte über Verfahren wie Photo-DNA erfolgen. Doch die Anbieter sollen nicht nur bekanntes, sondern auch neues Material erkennen und dessen Verbreitung verhindern. Das wäre beispielsweise per Mustererkennung mit Hilfe künstlicher Intelligenz (KI) möglich. Dazu setzt die Software Safer des Kinderschutzprojekts Thorn(öffnet im neuen Fenster) auch perzeptuelle statt kryptografische Hashing-Algorithmen ein. Darüber hinaus sollen die Anbieter auch Anbahnungsversuche aufspüren.
Zum Erkennen von Grooming heißt es in dem Entwurf: "Der Erkennungsprozess ist im Allgemeinen der invasivste für Nutzer (...), da er das automatische Durchsuchen von Texten in der zwischenmenschlichen Kommunikation erfordert. Dabei ist zu beachten, dass ein solches Scannen oft die einzig mögliche Erkennungsmöglichkeit darstellt und die eingesetzte Technik den Inhalt der Kommunikation nicht 'versteht', sondern nach bekannten, vorab identifizierten Mustern sucht, die auf mögliches Grooming hindeuten."
Microsoft gibt demnach die Erfolgsquote seines Anti-Grooming-Projekts Artemis(öffnet im neuen Fenster) mit 88 Prozent an. Die Fehltreffer sollen durch eine menschliche Überprüfung erkannt werden. Das bedeutet jedoch, dass sämtliche verdächtigen Konversationen von den Anbietern gelesen werden müssen.
In einem Gutachten bezeichneten die Wissenschaftlichen Dienste des Europaparlaments bereits Anfang 2021 sämtliche Verfahren mit Ausnahme von Photo-DNA als rechtsstaatlich bedenklich . Dazu zählten neben Safer und Artemis auch die Facebook-Algorithmen PDQ und TMK+PDQF.
In ihrer 282-seitigen Folgenabschätzung (PDF)(öffnet im neuen Fenster) verweist die EU-Kommission darauf, dass Safer eine Erkennungsrate von 99,9 Prozent habe. Das bedeutet, dass jeder tausendste Treffer falsch ist.
Wie funktioniert das bei verschlüsselter Kommunikation?
Bei einer Ende-zu-Ende-Verschlüsselung (E2E) können nur Sender und Empfänger die ausgetauschten Nachrichten einsehen. Entsprechend funktioniert ein Scan mit Programmen wie Photo-DNA auf den Servern des jeweiligen Anbieters technisch nicht.
Die Kommission beharrt jedoch darauf, dass es keine Ausnahme für Dienste wie Whatsapp oder Signal gibt , die E2E einsetzen. Um eine entsprechende Kontrolle zu ermöglichen, müssten die Anbieter entweder einen Zweitschlüssel generieren, mit denen die Nachrichten entschlüsselt und analysiert werden können.
Alternativ können sie auf das sogenannte Client-Side-Scanning setzen. Dabei sollen die eigentlich weiterhin Ende-zu-Ende-verschlüsselten Inhalte vor der Verschlüsselung oder nach dem Entschlüsseln auf dem jeweiligen Gerät vom Messenger analysiert werden. Findet sich ein Match, werden die Inhalte oder Dateien an Dritte ausgeleitet, bei denen sich letztlich Menschen die Inhalte zur Prüfung durchsehen. Gemeinsam haben die Ansätze, dass sie die Ende-zu-Ende-Verschlüsselung faktisch abschaffen, weil die Inhalte nicht mehr nur von den beiden Endpunkten eingesehen werden können.
Ohne eine sichere Ende-zu-Ende-Verschlüsselung ist auch keine sichere Kommunikation mehr möglich. Das gilt insbesondere für Journalisten, Anwälte und Menschenrechtsorganisationen, aber im Prinzip für jedwede private Kommunikation.
Warum ist die Chatkontrolle problematisch?
Die geplanten Vorgaben sind aus mehreren Gründen problematisch, da sie gewissermaßen eine dauerhafte Onlinedurchsuchung(öffnet im neuen Fenster) aller Kommunikationsinhalte auf den Endgeräten erfordern. Bislang erfolgt eine solche Durchsuchung heimlich durch Ermittlungsbehörden und ist nur in wenigen Einzelfällen erlaubt, weil damit das Fernmeldegeheimnis und das Recht auf die Integrität informationstechnischer Systeme außer Kraft gesetzt werden. Eine anlass- und verdachtsunabhängige Aufhebung dieser Grundrechte hat der Europäische Gerichtshof (EuGH) im Falle der Vorratsdatenspeicherung mehrfach abgelehnt.
Darüber hinaus besteht das Risiko, dass solche Systeme früher oder später für andere Zwecke eingesetzt werden. Da selbst die Kommission eine Missbrauchsgefahr der Technik sieht, sollen Anbieter "wirksame interne Verfahren" einsetzen, um eine missbräuchliche Nutzung zu verhindern oder aufzudecken. Damit soll beispielsweise verhindert werden, dass die Anbieter nach anderen Inhalten suchen und diese ausleiten. Da verschlüsselte Kommunikation ebenfalls gescannt werden soll, ist vertrauliche Kommunikation im Grunde nicht mehr möglich.
Wie fehleranfällig ist die Technik?
Zwar soll die Technik "ausreichend zuverlässig" sein, um die Zahl von falschen Meldungen möglichst stark zu reduzieren. Doch bei den unzähligen Nachrichten, die jeden Tag über Messenger ausgetauscht werden, sorgt auch eine extrem niedrige Fehlerrate dafür, dass massenhaft private und intime Nachrichten, Bilder und Videos an staatliche Behörden übermittelt werden - obwohl sie nicht im Entferntesten etwas mit Kindesmissbrauch zu tun haben.
Dabei dürfte die Fehlerrate bei einem Scan nach bisher unbekannten Missbrauchsabbildungen sowie von Textnachrichten auf mögliches Grooming deutlich höher sein und für noch viel mehr falsch-positive Meldungen sorgen.
Zwar ist der Einsatz der Technik derzeit nur gegen Kindesmissbrauchsabbildungen und Grooming geplant, doch einmal eingeführt, lassen sich die Inhalte, nach denen gescannt werden soll, beliebig erweitern. So könnte beispielsweise auch nach terroristischen Inhalten, organisierter Kriminalität, politischem Aktivismus, Whistleblowing oder kritischem Journalismus gesucht werden.
Welche Rolle spielt das EU-Zentrum?
Das unabhängige EU-Zentrum soll mehrere Aufgaben übernehmen. So soll es eine Datenbank mit Indikatoren erstellen, die eine zuverlässige Identifizierung von kinderpornografischem Material und der Kontaktaufnahme zu Kindern im Sinne der EU-Vorschriften ermöglichen. Auch soll die Behörde Meldungen über solche Inhalte von den Dienstanbietern entgegennehmen, auf mögliche falsch-positive Fälle prüfen und an die zuständigen Strafverfolgungsbehörden und Europol weiterleiten. Das Zentrum soll den Anbietern die erforderlichen Techniken zur Inhalteerkennung kostenlos bereitstellen.
Plante Apple nicht etwas Ähnliches?
Der US-Konzern Apple plante im Jahr 2021 einen sogenannten Fotoscan . Das Unternehmen wollte die Fotos von iPhone- und iPad-Nutzern auf kinderpornografisches Material scannen, bevor diese in die iCloud geladen werden. Der Scan der Fotos soll direkt auf den Geräten der Nutzer erfolgen. Dazu sollten Hashes von den vorhandenen Dateien gebildet und lokal mit einer Datenbank abgeglichen werden, die Hashes von bekanntem kinderpornografischen Material enthält.
Die Pläne wurden nach dem Aufschrei von Nutzern und Sicherheitsexperten aber nicht umgesetzt. Apple lege mit dem angekündigten Fotoscan den Grundstein für globale Zensur, Überwachung und Verfolgung, warnten damals 90 Menschenrechtsorganisationen .
Hilft die Chatkontrolle überhaupt gegen Kindesmissbrauch?
Die Effekte insbesondere der Überwachung von Messengern dürften sich dabei in Grenzen halten. So werden beispielsweise für Grooming eher Plattformen verwendet, auf denen Kinder und Jugendliche aktiv sind und sich einfach anschreiben lassen. Bei Messengern hingegen wird meist ein Nutzername oder eine Telefonnummer benötigt, um mit einer Person in Kontakt zu treten.
Bei den Kindesmissbrauchsinhalten selbst werde der Großteil über Plattformen und Foren geteilt, erklärte Joachim Türk, Vorstandsmitglied beim Kinderschutzbund, dem Bayrischen Rundfunk(öffnet im neuen Fenster) . Das anlasslose Scannen privater Nachrichten aus Messengerdiensten oder E-Mails sei deshalb weder verhältnismäßig noch zielführend.
Auch deutsche Strafverfolger kritisierten im Spiegel(öffnet im neuen Fenster) die Pläne hinter vorgehaltener Hand. Die aktuellen Pläne würden nicht unbedingt dazu führen, mehr Pädokriminelle festzunehmen, erklärten mehrere langjährige Ermittler. Denn mehr Meldungen würden nicht automatisch zu mehr Ermittlungserfolgen führen. Man habe bereits jetzt Probleme, mit den vorhandenen Ressourcen Fälle abzuarbeiten und die besonders gefährlichen Täter zu fassen.
Wie lassen sich die Scans umgehen?
Pädokriminelle umgehen die bereits durchgeführten Scans bei unverschlüsselten Cloud-Plattformen bereits heute: Sie laden passwortgeschützte und verschlüsselte Archive hoch, deren Inhalte nicht gescannt werden können. Die Links zu den Archiven sowie die Passwörter teilen die Pädokriminellen in speziellen Foren wie Boystown. Die Plattform wurde 2021 von der Polizei zerschlagen .
Die Links zu den Hostingplattformen im Clearnet könnten von der Polizei leicht gemeldet werden und würden dann umgehend gelöscht. Doch die Polizei fokussiert sich rein auf die Ermittlung der Täter und sammelt und meldet entsprechende Links nicht - so waren die auf der Plattform Boystown verlinkten Inhalte auch Monate nach deren Zerschlagung noch im Internet abrufbar, wie eine Recherche ergab(öffnet im neuen Fenster) . Die Journalisten sammelten daraufhin entsprechende Links und ließen sie löschen.
Wie geht es mit dem Entwurf weiter?
Das Gesetzgebungsverfahren in der EU sieht vor, dass das Europaparlament und die Mitgliedstaaten auf Basis des Entwurfs eine eigene Position formulieren. Wenn diese Positionen feststehen, kommt es zu den sogenannten Trilogverhandlungen mit der Kommission. In den Verhandlungen wird versucht, einen Kompromiss zu finden, der dann noch formal bestätigt werden muss.
Beobachter vermuten, dass die Kommission die Vorgaben bewusst sehr weit gefasst hat, um zumindest Verfahren wie Photo-DNA verpflichtend auf verschlüsselte Inhalte anwenden zu können.