Meredith Whittaker: Agentische KI als "sanfter Putsch" für IT-Sicherheit
In den vergangenen Jahren war es vor allem die geplante Chatkontrolle, die die verschlüsselte Kommunikation von Messengern bedrohte. Doch nun hat der Anbieter Signal eine weitere Gefahr ausgemacht. Auf dem 39. Chaos Communication Congress (39C3) in Hamburg warnte Signal-Chefin Meredith Whittaker vor einem "sanften Putsch" durch KI-Anwendungen in Betriebssystemen, die den Entwicklern und Nutzern die Kontrolle über die Geräte entreißen könnten.
Auf den ersten Blick erscheint es nicht ganz nachvollziehbar, warum ein Messenger-Anbieter wie Signal sich intensiv mit diesem Thema beschäftigt und vor dieser Entwicklung warnt. Beim Thema Chatkontrolle ist das offensichtlich, da die Überwachung von Inhalten direkt in den Kommunikationsdiensten erfolgen soll. Doch was Whittaker und Udbhav Tiwari, Vizepräsident für Strategie und globale Angelegenheiten bei Signal, auf dem 39C3 beschrieben, wirkt wie eine Art Chatkontrolle durch die Hintertür.
Microsoft Recall als Warnung
Als abschreckendes Beispiel für solche Konzepte verwies Whittaker auf das Programm Recall von Microsoft. Das Tool, das in regelmäßigen Abschnitten Screenshots vom Bildschirminhalt anfertigt und sie in einer zentralen Datenbank speichert, löste schon bei seiner Vorstellung einen Aufschrei unter Sicherheitsexperten und Datenschützern aus. Dennoch wird es von Microsoft weiterhin ausgeliefert.
Doch dieses Tool könnte in Zusammenhang mit dem Einsatz von KI-Agenten eine neue Bedeutung gewinnen – oder gar unverzichtbar werden. Denn laut Whittaker funktionieren solche Agenten, die eigenständig Aufgaben im Auftrag des Nutzers übernehmen, umso besser, je mehr Kontextinformationen zur Verfügung stehen. In einer internen Präsentation für agentenbasierte Produkte habe Microsoft beschrieben, wie der Zugriff auf E-Mails, Chats und Dateien gewährt werde, um dieses "kontextuelle Bewusstsein" zu erlangen.
Je mehr Kontext, desto besser
Kontext bedeute daher, "dass man einen so gut wie uneingeschränkten Zugriff auf alles hat. (...) Je weniger Daten vorhanden sind, desto weniger ist es agentenfähig, je mehr Daten vorhanden sind, desto mehr kann es leisten", sagte Whittaker. Daher verwalte ein agentenbasiertes Betriebssystem nur Dateien.
"Es nutzt beispielsweise kontinuierliche visuelle Zeichenerkennung im Bildschirmspeicher, um Pixel auszulesen. Es greift auf APIs zu, um alles, was Sie sehen, zu erfassen und dabei die Verschlüsselung auf Anwendungsebene zu umgehen", sagte Whittaker. Das ähnele dem Vorgehen von Recall oder Google Magic Cue.
Datenweitergabe an Clouddienste wahrscheinlich
Das agentenbasierte System gehe noch weiter. Es sende die gesammelten Daten an ein KI-Modell, üblicherweise ein LLM, und protokolliert sie möglicherweise zuvor in einer Datenbank für Retrieval-Augmented Generation(öffnet im neuen Fenster) (RAG), wodurch die Daten unter Umständen weiter offengelegt werden. Möglicherweise müsse dazu auf cloudbasierte Dienste zurückgegriffen werden.
In einem letzten Schritt führe das System "basierend auf seiner Wahrscheinlichkeitsberechnung eine Aktion aus, unabhängig davon, ob diese richtig oder falsch ist", sagte Whittaker. Dazu zählten beispielsweise der Aufruf einer API, das Senden von Daten an einen entfernten Server oder das Überschreiben von Datenbankeinträgen. Das erfolge jeweils ohne Zustimmung oder Initiative für jeden einzelnen Schritt.
Laut Tawiri stellen Tools wie Recall ein großes Sicherheitsrisiko dar.
Recall als Honeypot für sehr private Daten
"Durch die tiefe Integration von Überwachung in das Betriebssystem wird der eigentliche Zweck der Ende-zu-Ende-Verschlüsselung untergraben. Das Betriebssystem kann so eine Art Honeypot mit Ihren sensibelsten und privatesten Informationen erstellen – denselben Informationen, die fast überall sonst verschlüsselt sind – und diese in Form von Screenshots erfassen", erläuterte er. Signal verhindere dies inzwischen dadurch, dass standardmäßig keine Screenshots von Inhalten erstellt werden könnten.
Doch dieser Schutz hat laut Tawiri schwerwiegende Konsequenzen. So ließen sich Signal-Fenster dadurch nicht mehr teilen. Nutzer mit beeinträchtigtem Sehvermögen könnten sich die Inhalte nicht vorlesen lassen. Die Integration von Funktionen wie agentenbasierten KI-Systemen werde daher die Beziehung zwischen Anwendungen, Nutzern und dem Betriebssystem grundlegend verändern, kritisierte Tawiri.
Prompt Injection als Sicherheitsrisiko
Doch es gebe noch deutlich mehr Gefahren beim Einsatz solcher Agenten. Sie betreffen weniger das Auslesen und Speichern der Nutzerinformationen, sondern die Art und Weise, wie die KI-Systeme manipuliert werden könnten. So lassen sich laut Tawiri beispielsweise bösartige Prompts in Webseiten verstecken, die von den Agenten bei der Erledigung ihrer Aufgaben ausgewertet werden.
Solche Angriffe seien auch beim sogenannten Model Context Protocol (MCP) von Anthropic möglich. Es soll als offener Standard für die Verbindung von KI-Anwendungen mit externen Systemen dienen.
Laut Tawiri entstehen dabei sogenannte Confused-Deputy-Risiken(öffnet im neuen Fenster). "Diese entstehen, wenn ein Benutzer einem MCP-Server oder einem System, das auf einen MCP-Server zugreift, Zugriff auf besonders sensible Informationen gewährt. In diesem Fall ist es recht einfach, indirekte Prompt-Injection-Angriffe oder andere Schwachstellen zu nutzen, um diese Informationen zu exfiltrieren", erläuterte Tawiri.
"Mathematik des Scheiterns"
Darüber hinaus ließen sich über Supply-Chain-Angriffe (g+) Programmbibliotheken kompromittieren, die von MCP-Server genutzt würden. Tawiri verwies zudem auf den sogenannten Echo-Leak-Angriff auf Microsoft Copilot(öffnet im neuen Fenster). Dabei wurden schädliche Anweisungen in E-Mails versteckt, die von Copilot ohne Zutun des Nutzers ausgelesen und ausgeführt werden konnten. Daher handelte es sich um eine sogenannte Zero-Click-Schwachstelle.
Doch auch ohne das Ausnutzen von Schwachstellen sind KI-Agenten laut Whittaker sehr anfällig für Fehler. Sie bezeichnete das als die "Mathematik des Scheiterns". Um sie zu berechnen, ging sie von einer Erfolgsquote von 95 Prozent bei der Erledigung eines Arbeitsschrittes durch einen KI-Agenten aus, was noch großzügig sei. "Wenn Sie diesen Agenten nun bitten, eine Aufgabe mit 30 Schritten auszuführen, beispielsweise von Paris über Berlin zum Berghain, was wahrscheinlich mehr als 30 Schritte erfordert, wird er Probleme haben", erläuterte Whittaker.
Dann liege die Erfolgswahrscheinlichkeit nur noch bei 21 Prozent. Gehe man von einer 90-prozentigen Erfolgsquote pro Schritt aus, sinke das Gesamtergebnis nach 30 Schritten sogar auf 4,2 Prozent. "Und auf einem System, das bei seinen aktuellen Fähigkeiten in 96 von 100 Fällen versagt, lässt sich keine unternehmensweite Zuverlässigkeit aufbauen", sagte Whittaker.
Geringe Erfolgsquote
Die Signal-Chefin verwies dabei auf eine Studie der Carnegie-Mellon-Universität (CMU), wonach bei einem Test von agentischen KI-Systemen die maximale Erfolgsquote bei 30 Prozent gelegen habe. "Noch schlimmer: Sie versagten auf seltsame, unberechenbare und gefährliche Weise. Die Forscher nannten dies 'instabile Schlussfolgerungen'. In einem Test beispielsweise konnte der Agent keinen Mitarbeiter in der Datenbank finden, um eine Nachricht zu senden. Anstatt also zu melden, dass der Mitarbeiter nicht gefunden wurde, versuchte er, einen anderen Mitarbeiter in der Datenbank umzubenennen, um die Anfrage zu erfüllen", sagte Whittaker.
Ihrer Ansicht nach bedeutet die Entwicklung von KI-Agenten einen kritischen Wendepunkt in der Informatik. "Wir befinden uns im Übergang von einem Betriebssystem als Werkzeugkasten unter der Kontrolle von Entwicklern und Nutzern, mit dem wir gemeinsam Aufgaben erledigen können, hin zu einem Betriebssystem als Container für KI-Systeme, die überwachen, vorhersagen und handeln, unter der letztendlichen Kontrolle der Unternehmen und Organisationen, die sie entwickeln", sagte Whittaker. Der Hype solle jedoch nicht mehr die technische Realität ersetzen.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.