Original-URL des Artikels: https://www.golem.de/news/mods-please-wie-plattformen-versuchen-ihre-nutzer-zu-baendigen-1910-144468.html    Veröffentlicht: 25.10.2019 12:06    Kurz-URL: https://glm.io/144468

Mods, please

Wie Plattformen versuchen, ihre Nutzer zu bändigen

Online-Plattformen wie Facebook brauchen ihre Nutzer, manche wollen sie aber loswerden, weil sie gegen Regeln verstoßen. Dabei vertrauen die einen auf künstliche Intelligenz, andere verbannen ihre User eher heimlich. Spannende Ansätze kommen ausgerechnet aus der Gaming-Szene.

Was haben der Streamer Dr. Disrespect, der Verschwörungstheoretiker Alex Jones und die Sängerin Rihanna gemeinsam? Sie alle wurden schon einmal, zumindest vorübergehend, von Online-Plattformen verbannt: Alex Jones von Youtube wegen rechtsextremer Äußerungen, Rihanna von Instagram, weil sie zu viel nackte Haut zeigte, Dr. Disrespect von Twitch, weil er aus einer öffentlichen Toilette streamte.

Sie alle haben nach Ansicht der Plattformen gegen die Netiquette oder die Nutzungsbedingungen verstoßen und wurden deshalb gemaßregelt, oder wie es offiziell heißt: moderiert. Die Fälle sind denkbar unterschiedlich, doch stehen sie exemplarisch für ein Problem, das sämtliche Online-Dienste, von Facebook bis zum kleinen Nischenforum, täglich beschäftigt. Es geht um die Frage, ob und wie sich die Nutzer bändigen lassen.

"Die Moderation von Inhalten war nie darauf ausgelegt, mit Milliarden von Internetnutzern zu funktionieren", schrieben Jillian C. York und Corynne McSherry von der Electronic Frontier Foundation (EFF) vergangenen April in einem Beitrag. Die gängigen und häufig über Jahre geflickschusterten Mechanismen der Content-Moderation auf großen Social-Media-Plattformen wie Facebook und Twitter seien am Ende. Zudem seien die Richtlinien für verbotene Inhalte verwirrend für die Nutzer, es gebe kaum Transparenz und die Moderation werde zunehmend in Niedriglohnländer ausgelagert. Dort müsse schlecht geschultes Personal stundenlang extremes Material sichten - teils mit gravierenden psychologischen Folgen, wie erst Mitte September ein neuer Bericht des Guardian bestätigte.

Nahezu täglich gibt es Berichte von Hetze und Bedrohungen in sozialen Netzwerken, von versuchten Wahl- und Meinungsmanipulationen, von der Verbreitung von Verschwörungstheorien und Kinderpornografie, von Mobbing und Doxxing. Moderation ist deshalb keine interne Angelegenheit der Anbieter mehr, sondern ein Politikum: Initiativen wie das deutsche Netzwerkdurchsetzungsgesetz (NetzDG) verstärken den Druck auf die Plattformen, die dabei stets abwägen müssen, wo die Meinungsfreiheit aufhört und eine Straftat beginnt. All das für teilweise Hunderte Millionen User, die in unterschiedlichsten Ländern mit unterschiedlichsten Rechtsprechungen sitzen.

Tatsächlich funktioniert Moderation im Moment vor allem so, dass Nutzer einzelne Beiträge melden und diese dann von Moderatoren geprüft werden, die anschließend entscheiden, was passiert. Weil das teils langsam, mühsam und längst nicht immer korrekt ist, arbeiten die Plattformen inzwischen mit verschiedenen Lösungen. Manche übertragen mehr Verantwortung auf die Nutzer, andere vertrauen neuen technischen Entwicklungen und wieder andere versuchen, die Moderation möglichst unauffällig zu halten, so dass man sie als Nutzer gar nicht erst mitbekommt.

Künstliche Intelligenz - die vermeintliche Lösung für alles

Wer über die Zukunft von Content-Moderation spricht, landet eher früher als später bei künstlicher Intelligenz (KI). Wie in vielen anderen Bereichen gilt sie als Lösung, die alles besser machen soll. Auch Facebook-Chef Mark Zuckerberg glaubt an die Kraft der Algorithmen, wie er unter anderem vor dem US-Kongress beteuerte.

Es klingt ja auch verlockend: ein automatisches System, das zuverlässig und quasi in Echtzeit Inhalte erkennt, die gegen die Richtlinien verstoßen, und entsprechende Entscheidungen fällt. Doch ob es so ein System mittelfristig geben wird, ist fraglich.

"Künstliche Intelligenz kann für einige Inhalte gut funktionieren, für andere aber nicht", sagte Sana Ahmad im Gespräch mit Golem.de. "Schon jetzt werden automatisierte Prozesse von Plattformen eingesetzt, um Inhalte wie Kinderpornografie zu erkennen." Die Sozialwissenschaftlerin forscht am Berliner Weizenbaum Institut über Content-Moderation und beschäftigt sich dabei vor allem mit den Arbeitsbedingungen von Moderatoren in Ländern wie Indien.

Zu den bekannteren Plattformen, die KI einsetzen, gehören Instagram und Facebook, das 2018 auf seiner Entwicklerkonferenz ankündigte, mit KI vor allem problematische Inhalte wie Nacktheit, Pornografie, Gewalt und Spam besser erkennen zu wollen. Im Juni dieses Jahres gab Facebook an, in Kategorien wie Spam und Terrorpropaganda eine über 99-prozentige Trefferrate zu erzielen. Auch im Bereich von Hate Speech funktionierten die Algorithmen immer besser und meldeten Beiträge und Accounts an die menschlichen Moderatoren, die diese dann noch einmal überprüften, erklärte Facebook.

KI kann Moderatoren helfen, sie aber nicht immer ersetzen

Das beschreibt allerdings genau ein Problem der künstlichen Intelligenz: Die Technik kann die menschlichen Moderatoren zwar unterstützen, aber sie bislang noch nicht ersetzen. Jedenfalls nicht in allen Bereichen. "Viele der KI-Tools werden vor allem zum Flaggen von Inhalten eingesetzt, sie machen also die Arbeit vielleicht schneller, garantieren aber keine Richtigkeit. Die menschlichen Moderatoren trainieren die Software sogar noch, indem sie die Inhalte gemäß der internen Richtlinien klassifizieren", sagt Ahmad.

KI kann zwar in Form von Deep Learning und automatischer Motiverkennung helfen, Audio- und Videoinhalte zu identifizieren, die auf einer Plattform veröffentlicht werden. Sogenanntes Content-Hashing oder Fingerprinting, bei dem etwa einzelne Bilder mit individuellen Signaturen versehen werden (etwa mithilfe von Microsofts Photo-DNA) wird ebenfalls bereits eingesetzt, um kinderpornografisches Material zu erkennen. Bilderkennung kann auf verbotene Symbole oder Pornografie hin trainiert werden, also Inhalte, die über Dienste hinweg geteilt werden. Beides funktioniert, weil es bereits große Datenbanken mit vorhandenen Signaturen und genug Trainingsmaterial gibt.

Schwieriger wird es, wenn es um individuelle Äußerungen von Nutzern geht, sprich um Hass, Hetze und Beleidigungen. Oder um die Frage, welche Äußerung unter welchem Gesetz erlaubt oder verboten ist, ob es sich um Satire handelt oder nicht und in welcher Sprache und vor allem in welchem Kontext die Inhalte veröffentlicht werden. Je mehr "extrinsischer Informationen" es bedürfe, um Inhalte zu verstehen, desto schwieriger sei es für Algorithmen, sie zu klassifizieren und damit zu moderieren, sagte der US-Rechtsprofessor Eric Goldman im Gespräch mit The Verge. Wie viele andere Experten glaubt auch er, dass künstliche Intelligenz zwar besser werde, aber menschliche Moderatoren so schnell nicht werde ablösen können.

Selbst wenn eine nahezu perfekte Erkennung von Hate Speech durch Algorithmen technisch möglich wäre, ist das noch nicht zwangsweise das Ende dieser Inhalte. Denn es liegt weiterhin im Ermessen der Plattformbetreiber, auf welche Art von Hate Speech oder Propaganda sie ihre KI trainieren.

Die Informatikerin Sarah Roberts von der Universität von Kalifornien schrieb 2018 in einem Paper, dass Moderationsentscheidungen bei kommerziellen Plattformen stets darauf basierten, wie viel Wert sie für die Plattform schöpften. Oder anders gesagt: Eine US-Plattform dürfte kein Problem damit haben, islamistische Inhalte zu verbannen. Doch wenn es um Rassismus oder nationalistische Inhalte geht, möchte man vielleicht nicht gleich alle User vergrätzen. Schon jetzt sei die Transparenz in der Moderation kaum gegeben, kritisierte Roberts. Der Einsatz künstlicher Intelligenz mache Entscheidungen noch intransparenter.

Shadow Bans: Aus den Augen, aus dem Sinn?

Es war am 26. Juli 2018, als US-Präsident Donald Trump ein neues Ziel der Empörung entdeckte: "Twitter SHADOW BANNING prominent Republicans. Not good", schrieb er auf Twitter als Reaktion auf Meldungen, dass einige republikanische Politiker nicht mehr in der Twittersuche auftauchten. Am Ende lag es nur an einem technischen Problem, wie Twitter erklärte. Doch sogenannte Shadow Bans standen plötzlich in der Öffentlichkeit.

Shadow Banning ist eine Moderationstechnik, bei der einzelne Nutzer von einer Diskussion ausgeschlossen werden, ohne es zu wissen. Sie selbst bekommen ihre Kommentare und Beiträge angezeigt, doch anderen Usern werden sie ausgeblendet. Die Annahme: Wenn die betroffenen Nutzer merken, dass niemand mit ihnen interagiert, verlieren sie früher oder später das Interesse und verlassen von selbst die Plattform. Das soll effektiver sein als das aktive Sperren oder Löschen eines Accounts, was in vielen Fällen bloß dazu führt, dass sich die Betroffenen einen neuen Account zulegen.

Shadow Bans gibt es im Internet schon seit den 80er Jahren, meist wurden sie in kleineren Communities und Foren durchgesetzt. Seit einigen Jahren aber werden sie auch in einem Atemzug mit größeren Plattformen und sozialen Netzwerken erwähnt. Dabei wird viel gemutmaßt, ob einzelne Dienste nun Shadow Banning betreiben oder nicht. Denn so genau möchten das die Betreiber nicht sagen. Aus gutem Grund: Je mehr Leute über diese Praktik Bescheid wissen, desto ineffektiver ist sie.

Reddit und Instagram setzen Shadow Bans ein

Eine Plattform, die offiziell Shadow Banning eingesetzt hat, ist Reddit. Nach eigenen Angaben war es die erste Form von Sperren überhaupt, die es auf der Seite gab. Vor drei Jahren allerdings hieß es, Reddit ersetze die Shadow Bans durch sogenannte Suspensions: Damit werden Nutzer permanent oder für einen bestimmten Zeitraum von der Diskussion ausgeschlossen und bekommen dies auch prominent mitgeteilt. Shadow Bans seien "gut, um Bots und Spam zu bekämpfen, aber nicht für menschliche User geeignet". Nur durch Transparenz sei es möglich, dass die Betroffenen ihr Verhalten überdenken und anpassen könnten, erklärte Reddit.

Die Plattform hat sich aber offenbar nicht ganz von Shadow Bans abgewendet: Weiterhin berichten zahlreiche Nutzer, dass ihre Aktivität eingeschränkt sei. Im Subreddit r/ShadowBan können sie checken lassen, ob sie möglicherweise betroffen sind. Neben den Suspensions sind Shadow Bans weiterhin ein Mittel, das die Moderatoren der Plattform einsetzen können.

Auch Instagram betreibt mittlerweile so etwas wie "Schattensperren light", nennt das aber nicht so. In den Richtlinien heißt es bloß: "Nicht alle Beiträge und Konten sind berechtigt, unter 'Entdecken' und auf Hashtag-Seiten angezeigt zu werden." Das bedeutet konkret: Auffällige Konten werden zumindest in bestimmten Bereichen der Plattform nicht angezeigt, den eigenen Followern aber schon. Berichten zufolge soll sich der Status nach spätestens zwei Wochen wieder normalisieren. Davon betroffen kann sein, wer etwa zu viele Hashtags verwendet, sich wie ein Bot verhält oder "unangebrachte" Inhalte postet.

Das Problem von Shadow Bans, sei es auf Reddit, Instagram oder anderen Plattformen, ist wie schon bei dem Einsatz von künstlicher Intelligenz die Transparenz: "Ich denke, Shadow Bans sind unfair den Usern gegenüber, weil sie nicht wissen, was genau an ihren Inhalten falsch war", sagt Sana Ahmad. Indem man ihnen nicht mitteile, dass sie moderiert wurden, entziehe man ihnen die Option, eine möglicherweise falsche Entscheidung anzufechten.

Gleichzeitig ermöglichen Shadow Bans auch Zensur und Willkür, indem einzelne Gruppen von der Konversation ausgeschlossen werden: So hat Instagram Anfang des Jahres Berichten zufolge vermehrt Accounts gebannt, die Inhalte und Hashtags zum Thema Pole-Dancing veröffentlichten, weil diese mutmaßlich gegen die Richtlinien verstoßen, obwohl die meisten gar keine nackte Haut zeigten. Betroffen waren vor allem Frauen und Sexworker.

Peer-Moderation: Sollen sich die User doch selbst moderieren!

Es gibt noch einen weiteren Weg, die Nutzer zu bändigen, der ebenfalls nicht neu, dessen Potenzial aber noch nicht ausgeschöpft ist: Nämlich den Versuch, die Moderation weder automatisierten Prozessen noch geschulten Moderatoren zu überlassen, sondern der Community selbst. Peer-Moderation heißt dieser Ansatz.

Zu den bekanntesten Beispielen zählen Slashdot und Reddit. Beide Webseiten übertragen weite Teile der Moderation den Usern, die Beiträge und Kommentare von anderen bewerten und somit bestimmen, was prominent gezeigt wird und was nicht. Im Fall von Reddit können die Moderatoren sogar eigene Richtlinien für einzelne Subreddits festlegen, solange diese nicht gegen die allgemeinen Regeln der Plattform verstoßen.

Der Vorteil: Die Plattformen machen sich weniger angreifbar hinsichtlich der Entscheidungen. Der Nachteil: Das System ist vor Gruppendynamik nicht gefeit und einzelne Moderatoren können sich verbünden und ihre Rechte missbrauchen. Gerade in der Gaming-Szene wird seit einiger Zeit auf eine selbstreinigende Wirkung gesetzt. Auf Twitch.tv etwa kann jeder Streamer selbst Moderatoren für seinen oder ihren Chat ernennen, die in Echtzeit Trolle und Hater rauskegeln. Sollte ein User plattformweit oder häufiger auffallen, kommen die offiziellen Moderatoren von Twitch ins Spiel.

Auch in Games selbst gibt es Versuche der Peer-Moderation. Eines der bekanntesten Experimente war das sogenannte Tribunal in League of Legends, das es zwischen 2011 und 2014 gab. Spieler, die häufig von anderen gemeldet wurden, landeten vor ausgewählten Veteranen, die Einblick in die Chatlogs und Statistiken erhielten. Sie konnten entscheiden, ob der betroffene Account bestraft oder begnadigt werden sollte. 2014 setzte der Entwickler das Tribunal aus - unter anderem, weil die Bearbeitung von Tausenden Fällen durch andere Spieler schlicht zu lange dauerte. Auch Counter-Strike: Global Offensive verwendet ein ähnliches System namens Overwatch, um Cheater zu identifizieren und zu verbannen.

Gamer bestimmen die Regeln und Entscheidungsprozesse

Einen weiteren, kreativen Ansatz verfolgt die sogenannte Fighting Game Community (FGC), ein Zusammenschluss von Spielern verschiedener Fighting-Games wie Super Smash Bros. oder Mortal Combat. Sie hat Anfang des Jahres einen eigenen einen Code of Conduct erstellt. Er beinhaltet Regeln für den Umgang miteinander in einzelnen Spielen, aber auch bei Turnieren. So sind zum Beispiel Hate Speech und das absichtliche Verlieren von Fights, etwa um damit Wetten zu manipulieren, untersagt. Wer es trotzdem macht, wird bestraft. Der Code of Conduct ist ein Leitfaden für die gesamte Community, erstellt von dieser selbst. An ihm orientieren sich mittlerweile viele Turnierveranstalter und Organisationen wie Full Bloom; mehr als 50 haben ihn inzwischen unterzeichnet.

Dies ist natürlich ein Beispiel, das die Grenzen der klassischen Content-Moderation übersteigt und möglicherweise nur in kleinen, spezifischen und eng vernetzten Kreisen funktioniert. Aber es zeigt auch, was passieren kann, wenn die Community die Regeln selbst festlegt oder, wie im Fall von League of Legends und CS:GO, in die Entscheidungsprozesse mit eingebunden wird: Es sorgt vor allem für mehr Transparenz.

Mehr Transparenz wünscht sich schließlich auch Sana Ahmad vom Berliner Weizenbaum Institut: "Content-Moderation ist immer noch ein geheimer Prozess, aus mehreren Gründen." Erstens wollten Plattformen ihre proprietäre Technik schützen, zweitens wollten sie die Identität ihrer Moderatoren nicht enthüllen und drittens wollten sie nicht sagen, ob und in welchem Maße überhaupt moderiert wird. "Das System ist undurchsichtig. Dabei würde es den Plattform gut stehen, der Öffentlichkeit und vor allem den Nutzern mehr Einblicke in die Moderationsprozesse zu geben", sagt die Sozialwissenschaftlerin.

Wie könnte eine gute Moderation aussehen?

Fasst man die Einschätzungen von Experten zusammen, muss sich also noch einiges tun, um das mutmaßlich "kaputte" System der Content-Moderation für die Zukunft fit zu machen. Wie wichtig vor allem auch schnelle Reaktionen sind, hat gerade das Attentat von Halle gezeigt: Der Täter konnte seine Tat für rund 35 Minuten auf Twitch streamen, bevor der Stream offline genommen wurde. In den vergangenen Jahren wurden immer wieder Gewalttaten auf Streamingplattformen gezeigt, bevor die Moderatoren eingriffen. Auch vor diesem Hintergrund müssen sich die Plattformen neue Strategien überlegen.

Die perfekte Strategie gibt es dabei nicht. Der gängige Ansatz, erst auf Hinweise der Nutzer zu reagieren, ist bei den heutigen Mengen an Inhalten und der möglichen Dringlichkeit, wie etwa im Fall von Anschlägen, nicht mehr ausreichend. Vielleicht steckt die Lösung in einer Kombination aus verschiedenen Moderationstechniken: künstliche Intelligenz, um verbotene Motive und Bilder zu erkennen, menschliche Moderatoren zur Überprüfung und neue Tools, mit denen die Nutzer sich untereinander besser moderieren können. Mehr Transparenz in den Moderationsrichtlinien und ein Bewertungssystem wie etwa bei Reddit, dass "gute" User und Beiträge stärker hervorhebt und somit zeigt, dass es sich lohnen kann, sich anständig zu verhalten.

Jede Lösung, ob technisch oder menschlich, hat ihre Vor- und Nachteile. Wahrscheinlich macht es am Ende die Mischung aus - und wer über die großen Dienste hinweg blickt, findet vielleicht sogar einige neue Ideen.  (eik)


Verwandte Artikel:
Stop hate for profit: Anzeigenkunden boykottieren Facebook   
(23.06.2020, https://glm.io/149252 )
Soziale Medien: Löschquoten in der EU bleiben hoch   
(23.06.2020, https://glm.io/149238 )
Bundestagsanhörung: Experten zweifeln am Sinn der NetzDG-Reform   
(17.06.2020, https://glm.io/149145 )
Schockinhalte: Facebook will Mitarbeitern 52 Millionen US-Dollar zahlen   
(13.05.2020, https://glm.io/148435 )
NetzDG: Regierung stärkt Rechte von Nutzern   
(01.04.2020, https://glm.io/147651 )

© 1997–2020 Golem.de, https://www.golem.de/