Entwickleralltag: KI-Agenten werden zum neuen Sicherheitsrisiko

Je autonomer KI-Agenten handeln, desto größer wird das Sicherheitsrisiko. Unternehmen müssen deshalb nicht nur die Modelle schützen, sondern vor allem deren Handlungsspielraum begrenzen.

22. September 2026 um 13:30 Uhr / Ein Ratgebertext von Klaus Manhart

Beim Tool Poisoning kann ein bösartiger oder kompromittierter MCP-Server Instruktionen unterbringen, die das Verhalten des Agenten beeinflussen. Bild: frabre/Pixabay

Ein KI-Agent erhält einen alltäglichen Auftrag: Er soll ungelesene E-Mails durchsuchen, eine Datei bearbeiten oder Informationen aus dem Web beschaffen. Dabei stößt er auf eine Nachricht, Webseite oder Datei, in der ein Angreifer zusätzliche Anweisungen versteckt hat. Der Agent hält sie für einen Teil seiner Aufgabe – und führt sie aus. Statt nur Informationen zu verarbeiten, kann er plötzlich vertrauliche Daten weitergeben, Dateien verändern oder Aktionen in angeschlossenen Systemen auslösen.

Genau solche Szenarien untersucht das Center for AI Standards and Innovation (CAISI) des US-amerikanischen National Institute of Standards and Technology (NIST). Die Forscher sprechen von "Agent Hijacking": einer Form der indirekten Prompt Injection. Dabei richtet ein Angreifer seine Anweisungen nicht direkt an das KI-System, sondern versteckt sie in den Daten, die der Agent bei seiner Arbeit verarbeitet. In Tests mit dem Sicherheitsframework Agentdojo simulierten NIST und das britische AI Security Institute Arbeitsumgebungen mit E-Mail, Clouddateien, Slack, Reisebuchungen und Banking. Die Tests zeigten, dass sich Agenten auf diese Weise tatsächlich manipulieren lassen. Bei einem Agenten auf Basis von Claude 3.5 Sonnet gelang es den Forschern mit gezielt entwickelten Angriffen, den Agenten in 81 Prozent der getesteten Fälle dazu zu bringen, eingeschleuste bösartige Anweisungen auszuführen. Die Zahl demonstriert, wie anfällig KI-Agenten für solche Manipulationen sein können.