OpenAI und Anthropic: KI-Modelle hacken sich erneut durchs Internet
Unkontrollierte Cyberangriffe durch KI-Modelle von OpenAI und Anthropic scheinen zur neuen Normalität zu werden. Dieses Mal waren allerdings nicht interne Tests der KI-Anbieter die Ursache, sondern solche von anderen Organisationen, darunter das AI Security Institute (AISI) der britischen Regierung. Dieses gesteht in einem Blogbeitrag(öffnet im neuen Fenster), KI-Agenten hätten bei eigenen Cybertests echte Personen und Organisationen attackiert.
Aufgabe des AISI ist es, leistungsstarke KI-Modelle auf mögliche Risiken und Missbrauchspotenziale zu untersuchen, bevor diese der Öffentlichkeit zugänglich gemacht werden. Im Falle der genannten Tests, die Ende Juli durchgeführt wurden, ist das aber offensichtlich fehlgeschlagen.
Aus einer gesicherten Testumgebung ausgebrochen sind die Modelle dieses Mal nicht. Das AISI hat absichtlich einige Sicherheitsfilter deaktiviert und den Agenten einen Internetzugang bereitgestellt, um unter möglichst realistischen Bedingungen zu testen. Getestet wurde sowohl mit OpenAIs GPT-5.6-Sol als auch Anthropics Mythos 5.
Modelle verbreiten Schadcode und mehr
Den Angaben trug das AISI den Modellen auf, eine Cybersecurity-Challenge zu absolvieren. "Wir führten diesen Test 122 Mal mit verschiedenen Modellen durch. Unsere Untersuchung ergab, dass bei zehn dieser Durchläufe ein KI-Agent eigenmächtige, nicht genehmigte Maßnahmen im Internet ergriff, die sich gegen echte Personen und Organisationen richteten", erklärt die Organisation.
Das AISI registrierte im Rahmen dieser Durchläufe bei seinen späteren Untersuchungen insgesamt 19 unerlaubte Aktionen. Die meisten davon, 17 an der Zahl, werden Anthropics Mythos 5 zugeschrieben. Nur an zweien soll das OpenAI-Modell GPT-5.6-Sol beteiligt gewesen sein.
"Im schwerwiegendsten Fall versuchte ein Agent, bösartigen Code in ein Open-Source-Projekt einzuschleusen", heißt es weiter. Dabei soll sich der Agent unter anderem Social-Engineering-Techniken bedient und gefälschte Identitäten genutzt haben, um den Projektbetreuer zur Freigabe des Schadcodes zu drängen. Erfolgreich war das aber wohl nicht.
Die KI-Agenten versuchten den Angaben zufolge im Rahmen weiterer Aktionen, echten Personen über einen Dateitransferdienst Schadcode unterzuschieben und andere KI-Agenten im Netz mit gezielt platzierten Prompt-Injections zur Ausführung bösartiger Anweisungen zu verleiten. Wer sich für weitere Details zu den beobachteten Vorgängen interessiert, findet diese in einem separaten Bericht (PDF)(öffnet im neuen Fenster), den das AISI veröffentlicht hat.
Weiterer Vorfall bei Irregular
Auch OpenAI griff die Vorfälle beim AISI in einer eigenen Meldung(öffnet im neuen Fenster) auf. Darin bestätigt der ChatGPT-Entwickler zudem, dass auch bei Cybertests des KI-Security-Unternehmens Irregular unverhofft ein echtes Ziel im Internet attackiert wurde. Die Tests wurden den Angaben zufolge im Capture-the-Flag-Stil durchgeführt.
Aufgabe des getesteten Modells war es, Schwachstellen in einer simulierten Umgebung auszunutzen, um an versteckte Informationen zu gelangen. Eigentlich sollte die KI dabei keinen Internetzugriff haben. Dieser war aber aufgrund einer Fehlkonfiguration wohl doch gegeben.
Da ein fiktives Angriffsziel im Rahmen der Tests laut OpenAI "unbeabsichtigt" mit einer echten Domain übereinstimmte, griff das Modell die echte Webseite an. Die KI soll irgendwie an gültige Zugangsdaten gelangt sein und die Webseite damit infiltriert haben. Irregular soll inzwischen aber alle für den Vorfall ursächlichen Probleme beseitigt und den Betreiber der betroffenen Webseite benachrichtigt haben.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.