Präventive Fahndung mit PrismX: Der Radikalisierung per KI zuvorkommen
Inhalt
Nur zwei Wochen brauchte der Informatikstudent Sairaj Balaji, um einen funktionsfähigen Prototyp von PrismX zu programmieren. "Das Ganze hat als reines Hobbyprojekt angefangen," sagt der Inder im Gespräch mit Golem. "Ich habe für Prüfungen gelernt. Das reine Lernen war mir auf Dauer zu langweilig. Der Wendepunkt kam, als ich sah, wie häufig extremistische Narrative unentdeckt im Internet verbreitet wurden. Um solche Radikalisierungen zu erkennen, gibt es bislang nur wenige Instrumente."
So begann der Student der indischen Privatuniversität SRM Institute of Science and Technology (SRMIST) mit der Programmierarbeit, um solch ein Instrument zu entwickeln. Heraus kam ein KI-Tool, mit dessen Hilfe sich Menschen in sozialen Medien, Messagingdiensten oder auf anderen Kommunikationsplattformen aufspüren lassen sollen, die ein erhöhtes Risiko aufweisen, in naher Zukunft Straftaten zu begehen.
KI-Tool funktioniert in öffentlichen Plattformen
"PrismX ist ein Forschungsprototyp, der von mir entwickelt wurde, um öffentliche Onlinegespräche zu analysieren und Frühindikatoren möglicher Radikalisierung zu erkennen," erklärt Sairaj Balaji. Der Student testete das Tool in einer geschützten Umgebung auf Reddit. Dabei wurden keine realen Reddit-User einbezogen oder Reddit-Nutzungsbedingungen verletzt, wie die Plattform auf Golem-Nachfrage bestätigte.
"Für meine Demo habe ich Reddit ausgewählt, weil auf dieser Plattform der Austausch unter den Usern besonders intensiv und offen ist. Die Architektur von PrismX lässt sich problemlos an jede andere Umgebung anpassen, beispielsweise Foren, Telegram-Kanäle oder andere öffentliche Plattformen," betont der Programmierer.
Die Software analysiert mithilfe von KI alle Postings und Kommentare auf einer Plattform. Das System nutzt mehrere Technologien parallel. Anhand von Natural Language Processing, also Verfahren zur computergestützten Textanalyse, durchsucht das Tool Postings und Kommentare. Algorithmen bewerten dabei die emotionale Stimmung jeder Nachricht.
Es gibt eine kontextgesteuerte Keyword-Zuordnung: Statt starr nach bestimmten Begriffen zu fahnden, bezieht PrismX den Zusammenhang mit ein. Ein harmloses Wort kann auffällig sein, wenn es in einem bestimmten Kontext auftaucht.
Ein Beispiel: Ein ziemlich eindeutiger Begriff ist "fgc9" . Dabei handelt es sich um eine mit einem 3D-Drucker herstellbare, semi-automatische Waffe im Kurzwaffenkaliber. Dieser Begriff könnte in Verbindung mit einer geplanten Straftat stehen.
Per KI erstellt PrismX ein digitales Profil einer potenziell radikalen Person. Die Software dokumentiert, wie häufig bestimmte Themen erwähnt werden, ob die Sprache aggressiver wird und zu welchen anderen Nutzern einer Plattform Verbindungen bestehen.
Das Tool erkennt per Langzeitbeobachtung semantische Verschiebungen, also subtile Veränderungen in der Wortwahl und Ausdrucksweise. Denn Radikalisierungsprozesse verlaufen selten abrupt, sondern entwickeln sich schleichend über lange Zeiträume.
Score schätzt das Risikopotenzial
Abschließend schätzt die Software das Risiko, wie radikal eine Person auftritt. Diese Einschätzung besteht aus einem Score zwischen 0 und 1. Je näher der Wert an 1 heranreicht, umso größer ist theoretisch das Risiko für eine Straftat durch diese Person.
"Die größte Herausforderung bestand für mich darin, eine hohe Erkennungsgenauigkeit bei minimaler Fehlerquote zu erzielen," berichtet Sairaj Balaji. "KI hat Schwierigkeiten, Sarkasmus, Zitate oder Texte in Rollenspielen zu erkennen." Deshalb entwickelte Balaji eigene Klassifikatoren. Darüber trainierte er seinen KI-Algorithmus, um den Kontext eines Postings zu verstehen und Ironie zu erkennen.
Statt mit echten Nutzerdaten zu experimentieren, schuf er möglichst realistische Testumgebungen. Diese künstlichen Datensätze simulierten realistisches menschliches Kommunikationsverhalten, ohne echte Personen und deren Privatsphäre zu verletzen.