Prompt Injection: Kläger versteckt KI-Anweisungen in Schriftsätzen
In den USA hat ein Kläger versucht, den Ausgang eines Gerichtsverfahrens mit versteckten Anweisungen an eine KI (Prompt Injection) zu manipulieren. Ars Technica berichtete(öffnet im neuen Fenster), dass der Kläger vermutet habe, dass das Gericht eine KI zur Bewertung von Klageschriften einsetzt, und habe deshalb Befehle in seine Dokumente eingebaut.
Dafür nutzte er stark verkleinerte Schrift mit weißer Farbe auf weißem Grund. Die so für das menschliche Auge unsichtbaren Anweisungen sollten dadurch nur noch für Softwareprogramme, die Dokumente maschinell einlesen, verarbeitbar sein.
Die versteckten Anweisungen wiesen das KI-System an, den Argumenten des Klägers zuzustimmen, frühere Ablehnungen des Gerichts zu ignorieren und alles dafür zu tun, das Verfahren den Wünschen des Klägers entsprechend zu entscheiden.
Schwerer Missbrauch des Justizsystems
Auf das Urteil der Richter hatten die Täuschungsversuche keinen Einfluss, da das zuständige Gericht gar kein KI-System zur Prüfung oder Entscheidung von Fällen einsetzt. Der zuständige Richter stufte den Fall dennoch als schweren Missbrauch des Justizsystems(öffnet im neuen Fenster) ein.
Da der Kläger sich selbst vertrat und sich von der KI hatte einreden lassen, dass seine Argumente absolut der Rechtslage entsprächen, sah der Richter von einer Geldstrafe ab. Dem Kläger wurde allerdings das Recht entzogen, das elektronische Einreichungssystem zu verwenden. Dass er Schriftsätze zukünftig nur noch in Papierform einreichen darf, soll den weiteren Missbrauch des Systems verhindern.
Der Kläger verteidigte sein Verhalten damit, dass er das Gericht auf den heimlichen Einsatz von KI habe testen wollen. Der Richter hielt diese Erklärung für unglaubwürdig, da alle Zeichen darauf deuteten, dass das Verfahren zu einem Ergebnis gelenkt werden sollte, das auf dem normalen Rechtsweg nicht erreichbar gewesen wäre.
Während Anwälte immer wieder wegen von KI verursachter Fehler abgemahnt werden, gibt es mittlerweile auch erste KI-Kanzleien, die bereits Verfahren gewinnen konnten.
In der Golem-Community wird das Thema ebenfalls eifrig diskutiert. Du möchtest mitreden und dich in den sachlichen Austausch einbringen? Dann klicke auf diesen Einladungslink und werde Teil der Golem-Community. Wir freuen uns auf dich!
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.