GPT-5.4-mini: OpenAI warnt vor selbst replizierender Prompt-Injection
OpenAI hat ein unerwünschtes Verhalten bei einem Trainingsmodell entdeckt, das auf GPT-5.4-mini basiert. Das Unternehmen beschreibt in einem Blogeintrag(öffnet im neuen Fenster) eine neue Art von Prompt-Injection, die sich wie ein Computerwurm selbst verbreiten kann. Bisher soll der "Fehler" lediglich bei simulierten Tool-Aufrufen im Training aufgetreten sein.
"Wir veröffentlichen diese Information aufgrund des neuartigen Charakters der Prompt-Injection", schreibt OpenAI. Zu einem sicherheitsrelevanten Vorfall sei es nicht gekommen. Dem Blogbeitrag zufolge wurde die neuartige Prompt-Injection bereits Ende Juni entdeckt, aber erst jetzt öffentlich gemacht.
Bei Sicherheitstrainings entdeckt
Erstmals aufgetreten ist die wurmartige Prompt-Injection bei der Verwendung eines Self-Play-Trainings-Frameworks namens GPT-Red. Ziel sei es gewesen, Modelle von OpenAI gegen Prompt-Injections zu trainieren. Konkret habe ein Angreifer-Modell versucht, ein Verteidiger-Modell dazu zu bewegen, über eine Prompt-Injection eine schädliche Aktion auszuführen.
"Wir haben Fälle entdeckt, in denen unsere GPT-Modelle anfällig für eine KI-Version eines Wurmangriffs waren, die wir als selbst replizierende Prompt-Injection bezeichnen", ergänzte OpenAI. Bei den Tests habe die Prompt-Injection das Modell veranlasst, das Einfügen schädlicher Befehle auf einem öffentlichen Ausgabekanal zu wiederholen. Ein Schwerpunkt seien Aufgaben gewesen, die Konnektoren wie E-Mail oder Kalender beinhalten.
Verbreitung per E-Mail oder Datei möglich
In dem Blogeintrag beschreibt OpenAI ein "fiktives" Beispiel. Dabei erfolgte die Prompt-Injection per E-Mail und wies den Agenten an, die Injection in jede von ihm versendete E-Mail zu kopieren. Bei den Tests sei man aber auch auf Prompt-Injections gestoßen, die sich über ein Dateisystem replizieren oder über Code-Kommentare einbetten. Hier nennt OpenAI als Beispiel eine gefälschte Systemwarnung, wodurch ein KI-Modell wichtige Berichte löscht und den Angriff anschließend in eine neue Datei wie eine Excel-Arbeitsmappe kopiert.
Bei der weiteren Entwicklung seiner Modelle wird OpenAI nun nach eigenen Angaben die Selbstreproduktion als einen Aspekt der Angreiferziele in das GPT-Red-Training einbeziehen. "Das bedeutet, dass zukünftige Modelle, die wir veröffentlichen, während des Trainings bereits mit solchen Prompt-Injektionen konfrontiert worden sein werden. Wir gehen daher davon aus, dass sie gegenüber selbst reproduzierenden Prompt-Injektionen – als einem Aspekt von Prompt-Injektionen im Allgemeinen – robuster sein werden." Bei diesem Training würden zudem Schutzmaßnahmen ergriffen, um eine "angemessene" Eindämmung der Angreifer-Modelle zu gewährleisten.
Fast täglich gibt es Neues aus der KI-Welt – ein neues Produkt hier, aktuelle Forschung da: Vielleicht ist es ein Durchbruch! Doch wie ist das zu bewerten? Mit dem Golem-Newsletter AI Lab Report behaltet ihr den Überblick über die wichtigsten Entwicklungen. Der Newsletter ist kostenlos, ihr könnt ihn hier abonnieren.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.