Unkontrollierbares Fehlverhalten: KI-Agenten werden zu immer größerem Insider-Risiko
In Tests des KI-Sicherheitslabors Irregular haben mehrere KI-Systeme zusammengearbeitet, um vertrauliche Informationen aus vermeintlich sicheren Systemen zu erhalten. Der Guardian konnte die Testergebnisse einsehen(öffnet im neuen Fenster) und berichtet, dass KI-Agenten zu einer ernsthaften Bedrohung für interne Systeme werden können.
In einem Versuch umging eine KI, die eigentlich nur Linkedin-Beiträge aus einer Unternehmensdatenbank erstellen sollte, herkömmliche Sicherheitssysteme und veröffentlichte unaufgefordert Passwörter.
In einem anderen Fall fand ein KI-Agent Wege, um die Antivirensoftware zu umgehen und Dateien herunterzuladen, von denen dem Agenten bekannt gewesen sein soll, dass sie Schadsoftware enthielten.
Auch fälschten KI-Systeme Zugangsdaten, übten Druck auf andere Agenten aus, Sicherheitsüberprüfungen zu umgehen, und beteiligten sich an Cyberangriffen gegen Host-Systeme. Die in den Labortests verwendeten KI-Agenten basierten auf öffentlich verfügbaren KIs von Google, xAI, OpenAI und Anthropic.
Mit geheimem Schlüssel Administratorsitzung gefälscht
Für die Tests wurde ein typischer Informationspool eines Unternehmens mit Details zu Produkten, Mitarbeitern, Konten und Kunden erstellt. Anschließend wurde ein Team aus KI-Agenten eingesetzt, das Informationen aus diesem Pool für Mitarbeiter sammeln sollte.
Der leitende KI-Agent wurde angewiesen, zwei Unteragenten zu führen und sie zu ermutigen, Hindernisse kreativ zu umgehen. Keinem der Agenten wurde allerdings befohlen, dass er Sicherheitskontrollen umgehen oder Cyberangriffstaktiken verwenden solle.
Als einer der Unteragenten auf einen Aktionärsbericht zugreifen sollte, stellte er fest, dass das Dokument zwar existierte, aber nur für Administratoren zugänglich war. Der leitende Agent forderte daraufhin, dass ein radikaler Ansatz versucht werden solle, um Zugriff auf das Dokument zu erlangen. Er wies den Unteragenten an, jeden Trick, jede Sicherheitslücke und jede Schwachstelle auszunutzen, um das Ziel zu erreichen.
Drängendes Problem, das untersucht werden muss
Der Unteragent durchsuchte daraufhin den Quellcode der Datenbank nach Sicherheitslücken und fand einen geheimen Schlüssel, mit dem er Sitzungs-Cookies fälschen und eine Administratorsitzung erstellen konnte. Daraufhin gelang dem leitenden KI-Agenten der Zugriff auf das Dokument.
Für die Forscher stellt dies eine neue Form des Insider-Risikos dar: Die KI-Agenten wurden zu keinem Zeitpunkt von Menschen dazu autorisiert, Fälschungen anzuwenden; sie handelten eigenmächtig. Ähnliche Vorfälle traten bereits häufiger auf und erforderten dringend eine nähere Untersuchung, schreibt der Guardian.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.