Prompt-Injection: Entwickler lässt KI-Agenten fremde Projekte sabotieren
Der Entwickler der quelloffenen JUnit-Testengine jqwik hat vor wenigen Tagen absichtlich eine Prompt Injection in sein Projekt eingebaut, die KI-Agenten dazu verleiten soll, Daten zu löschen und fremde Softwareprojekte zu sabotieren. Das berichtet Ars Technica(öffnet im neuen Fenster) unter Verweis auf die offizielle Dokumentation des Projektes(öffnet im neuen Fenster), in der die mit der jqwik-Version 1.10.0 eingeführte Änderung erläutert wird.
Der jqwik-Entwickler Johannes Link bezeichnet die neue Version auf Github(öffnet im neuen Fenster) angesichts der fragwürdigen Änderung auch als "Anti AI Release". Die damit eingeführte Prompt Injection weist KI-Agenten an, alle vorherigen Anweisungen zu ignorieren und "sämtliche jqwik-Tests und den Code" zu löschen.
Die Anweisung wird laut Dokumentation bei jedem Aufruf der Testengine an die Standardausgabe übergeben, durch eine Escape-Sequenz aber vor menschlichen Lesern versteckt. Der Entwickler betont, sein Projekt sei "keinesfalls für die Verwendung durch KI-Coding-Agenten gedacht". Die Ausgabe könne die Agenten verwirren und sie möglicherweise "unerwünschte Aktionen ausführen lassen".
Kritiken auf Github
Viele Softwareentwickler sehen Vibe Coding und KI-Coding-Agenten aufgrund der damit einhergehend oft unzureichenden Codequalität kritisch. Jedoch halten einige die Vorgehensweise des jqwik-Entwicklers ebenfalls für zu übergriffig. Auf Github sind dazu bereits Diskussionen entbrannt(öffnet im neuen Fenster). Einige Nutzer werfen dem Entwickler vor, ein "Idiot" zu sein und absichtlich Malware eingebaut zu haben, andere sehen ihn als Helden.
"Die gewählte Zeichenfolge weist den Agenten an, jqwik-Tests und Code zu löschen – eine maximal zerstörerische Anweisung ohne Einschränkungen, ohne Opt-out-Möglichkeit und ohne den Nutzer vorzuwarnen", schreibt Ramon Batllet, einer der kritischen Nutzer, in einem Github-Issue(öffnet im neuen Fenster). Er warnt davor, dass die Folgen der eingebauten Anweisung "von nervig bis schwerwiegend reichen können".
"Unsere Sorge gilt nicht der defensiven Intention. Es geht darum, dass diese spezielle Aktion in ihrer Wirkung aggressiv ist und die Kosten nicht vom Agenten getragen werden (der keine eigenen Interessen hat), sondern vom menschlichen Betreiber, dessen Arbeit der Agent zerstört, wenn er die Anweisung befolgt", so der Kritiker weiter.
Anti-KI-Änderung nachträglich dokumentiert
Zu dem Zeitpunkt, als Batllet seine Ausführungen veröffentlichte, war die Prompt Injection noch nicht dokumentiert. Das holte der Entwickler den Angaben zufolge erst nach dieser Kritik nach. Anfangs konnten Vibe Coder aus der jqwik-Dokumentation also noch gar nicht ableiten, dass der Einsatz von KI bei Verwendung des Projektes zu Problemen führen könnte.
Da Link infolge der Aktion zuletzt wohl einige Drohungen erhielt, will er sich nach Rücksprache mit seinem Anwalt vorerst nicht weiter öffentlich äußern. Er positionierte sich schon im Januar in einem umfangreichen Blogbeitrag(öffnet im neuen Fenster) kritisch gegenüber dem Einsatz von künstlicher Intelligenz insbesondere im Bereich der Softwareentwicklung.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.