Meredith Whittaker: Agentische KI als "sanfter Putsch" für IT-Sicherheit
Inhalt
In den vergangenen Jahren war es vor allem die geplante Chatkontrolle , die die verschlüsselte Kommunikation von Messengern bedrohte. Doch nun hat der Anbieter Signal eine weitere Gefahr ausgemacht. Auf dem 39. Chaos Communication Congress (39C3) in Hamburg warnte Signal-Chefin Meredith Whittaker vor einem "sanften Putsch" durch KI-Anwendungen in Betriebssystemen, die den Entwicklern und Nutzern die Kontrolle über die Geräte entreißen könnten.
Auf den ersten Blick erscheint es nicht ganz nachvollziehbar, warum ein Messenger-Anbieter wie Signal sich intensiv mit diesem Thema beschäftigt und vor dieser Entwicklung warnt. Beim Thema Chatkontrolle ist das offensichtlich, da die Überwachung von Inhalten direkt in den Kommunikationsdiensten erfolgen soll. Doch was Whittaker und Udbhav Tiwari, Vizepräsident für Strategie und globale Angelegenheiten bei Signal, auf dem 39C3 beschrieben, wirkt wie eine Art Chatkontrolle durch die Hintertür.
Microsoft Recall als Warnung
Als abschreckendes Beispiel für solche Konzepte verwies Whittaker auf das Programm Recall von Microsoft . Das Tool, das in regelmäßigen Abschnitten Screenshots vom Bildschirminhalt anfertigt und sie in einer zentralen Datenbank speichert, löste schon bei seiner Vorstellung einen Aufschrei unter Sicherheitsexperten und Datenschützern aus . Dennoch wird es von Microsoft weiterhin ausgeliefert .
Doch dieses Tool könnte in Zusammenhang mit dem Einsatz von KI-Agenten eine neue Bedeutung gewinnen – oder gar unverzichtbar werden. Denn laut Whittaker funktionieren solche Agenten, die eigenständig Aufgaben im Auftrag des Nutzers übernehmen, umso besser, je mehr Kontextinformationen zur Verfügung stehen. In einer internen Präsentation für agentenbasierte Produkte habe Microsoft beschrieben, wie der Zugriff auf E-Mails, Chats und Dateien gewährt werde, um dieses "kontextuelle Bewusstsein" zu erlangen.
Je mehr Kontext, desto besser
Kontext bedeute daher, "dass man einen so gut wie uneingeschränkten Zugriff auf alles hat. (...) Je weniger Daten vorhanden sind, desto weniger ist es agentenfähig, je mehr Daten vorhanden sind, desto mehr kann es leisten" , sagte Whittaker. Daher verwalte ein agentenbasiertes Betriebssystem nur Dateien.
"Es nutzt beispielsweise kontinuierliche visuelle Zeichenerkennung im Bildschirmspeicher, um Pixel auszulesen. Es greift auf APIs zu, um alles, was Sie sehen, zu erfassen und dabei die Verschlüsselung auf Anwendungsebene zu umgehen" , sagte Whittaker. Das ähnele dem Vorgehen von Recall oder Google Magic Cue.
Datenweitergabe an Clouddienste wahrscheinlich
Das agentenbasierte System gehe noch weiter. Es sende die gesammelten Daten an ein KI-Modell, üblicherweise ein LLM, und protokolliert sie möglicherweise zuvor in einer Datenbank für Retrieval-Augmented Generation(öffnet im neuen Fenster) (RAG), wodurch die Daten unter Umständen weiter offengelegt werden. Möglicherweise müsse dazu auf cloudbasierte Dienste zurückgegriffen werden.
In einem letzten Schritt führe das System "basierend auf seiner Wahrscheinlichkeitsberechnung eine Aktion aus, unabhängig davon, ob diese richtig oder falsch ist" , sagte Whittaker. Dazu zählten beispielsweise der Aufruf einer API, das Senden von Daten an einen entfernten Server oder das Überschreiben von Datenbankeinträgen. Das erfolge jeweils ohne Zustimmung oder Initiative für jeden einzelnen Schritt.
Laut Tawiri stellen Tools wie Recall ein großes Sicherheitsrisiko dar.