Recall als Honeypot für sehr private Daten

"Durch die tiefe Integration von Überwachung in das Betriebssystem wird der eigentliche Zweck der Ende-zu-Ende-Verschlüsselung untergraben. Das Betriebssystem kann so eine Art Honeypot mit Ihren sensibelsten und privatesten Informationen erstellen – denselben Informationen, die fast überall sonst verschlüsselt sind – und diese in Form von Screenshots erfassen" , erläuterte er. Signal verhindere dies inzwischen dadurch, dass standardmäßig keine Screenshots von Inhalten erstellt werden könnten.

Doch dieser Schutz hat laut Tawiri schwerwiegende Konsequenzen. So ließen sich Signal-Fenster dadurch nicht mehr teilen. Nutzer mit beeinträchtigtem Sehvermögen könnten sich die Inhalte nicht vorlesen lassen. Die Integration von Funktionen wie agentenbasierten KI-Systemen werde daher die Beziehung zwischen Anwendungen, Nutzern und dem Betriebssystem grundlegend verändern, kritisierte Tawiri.

Prompt Injection als Sicherheitsrisiko

Doch es gebe noch deutlich mehr Gefahren beim Einsatz solcher Agenten. Sie betreffen weniger das Auslesen und Speichern der Nutzerinformationen, sondern die Art und Weise, wie die KI-Systeme manipuliert werden könnten. So lassen sich laut Tawiri beispielsweise bösartige Prompts in Webseiten verstecken, die von den Agenten bei der Erledigung ihrer Aufgaben ausgewertet werden.

Solche Angriffe seien auch beim sogenannten Model Context Protocol (MCP) von Anthropic möglich. Es soll als offener Standard für die Verbindung von KI-Anwendungen mit externen Systemen dienen.

Laut Tawiri entstehen dabei sogenannte Confused-Deputy-Risiken . "Diese entstehen, wenn ein Benutzer einem MCP-Server oder einem System, das auf einen MCP-Server zugreift, Zugriff auf besonders sensible Informationen gewährt. In diesem Fall ist es recht einfach, indirekte Prompt-Injection-Angriffe oder andere Schwachstellen zu nutzen, um diese Informationen zu exfiltrieren" , erläuterte Tawiri.

"Mathematik des Scheiterns"

Darüber hinaus ließen sich über Supply-Chain-Angriffe (g+) Programmbibliotheken kompromittieren, die von MCP-Server genutzt würden. Tawiri verwies zudem auf den sogenannten Echo-Leak-Angriff auf Microsoft Copilot . Dabei wurden schädliche Anweisungen in E-Mails versteckt, die von Copilot ohne Zutun des Nutzers ausgelesen und ausgeführt werden konnten. Daher handelte es sich um eine sogenannte Zero-Click-Schwachstelle.

Doch auch ohne das Ausnutzen von Schwachstellen sind KI-Agenten laut Whittaker sehr anfällig für Fehler. Sie bezeichnete das als die "Mathematik des Scheiterns" . Um sie zu berechnen, ging sie von einer Erfolgsquote von 95 Prozent bei der Erledigung eines Arbeitsschrittes durch einen KI-Agenten aus, was noch großzügig sei. "Wenn Sie diesen Agenten nun bitten, eine Aufgabe mit 30 Schritten auszuführen, beispielsweise von Paris über Berlin zum Berghain, was wahrscheinlich mehr als 30 Schritte erfordert, wird er Probleme haben" , erläuterte Whittaker.

Dann liege die Erfolgswahrscheinlichkeit nur noch bei 21 Prozent. Gehe man von einer 90-prozentigen Erfolgsquote pro Schritt aus, sinke das Gesamtergebnis nach 30 Schritten sogar auf 4,2 Prozent. "Und auf einem System, das bei seinen aktuellen Fähigkeiten in 96 von 100 Fällen versagt, lässt sich keine unternehmensweite Zuverlässigkeit aufbauen" , sagte Whittaker.

Geringe Erfolgsquote

Die Signal-Chefin verwies dabei auf eine Studie der Carnegie-Mellon-Universität (CMU), wonach bei einem Test von agentischen KI-Systemen die maximale Erfolgsquote bei 30 Prozent gelegen habe. "Noch schlimmer: Sie versagten auf seltsame, unberechenbare und gefährliche Weise. Die Forscher nannten dies 'instabile Schlussfolgerungen'. In einem Test beispielsweise konnte der Agent keinen Mitarbeiter in der Datenbank finden, um eine Nachricht zu senden. Anstatt also zu melden, dass der Mitarbeiter nicht gefunden wurde, versuchte er, einen anderen Mitarbeiter in der Datenbank umzubenennen, um die Anfrage zu erfüllen" , sagte Whittaker.

Ihrer Ansicht nach bedeutet die Entwicklung von KI-Agenten einen kritischen Wendepunkt in der Informatik. "Wir befinden uns im Übergang von einem Betriebssystem als Werkzeugkasten unter der Kontrolle von Entwicklern und Nutzern, mit dem wir gemeinsam Aufgaben erledigen können, hin zu einem Betriebssystem als Container für KI-Systeme, die überwachen, vorhersagen und handeln, unter der letztendlichen Kontrolle der Unternehmen und Organisationen, die sie entwickeln" , sagte Whittaker. Der Hype solle jedoch nicht mehr die technische Realität ersetzen.