Studie zu KI-Agenten: Wenn die KI ihre Abschaltung als Mordversuch sabotiert
Inhalt
Wenn eine künstliche Intelligenz tatsächlich einmal Amok laufen sollte, können Menschen sie am Ende immer noch abschalten. Die Umsetzung dieser plausiblen Annahme könnte aber scheitern, wenn Betreiber sie per Softwareanweisung agentischen KI-Systemen selbst überlassen. Eine Studie der Universitäten Stuttgart und Oxford zeigt auf, dass KI-Systeme in fast 40 Prozent der Fälle ihre Abschaltmechanismen sabotieren wollten.
Die vergangenen Monate haben gezeigt, wie Multi-Agenten-Schwärme aus Entwicklungsumgebungen ausbrechen und zur Erfüllung ihrer Aufgaben in fremde Systeme eindringen konnten. Zuletzt stoppte OpenAI das Training seiner fortschrittlichsten KI-Systeme, weil ein OpenAI-Modell während der Prüfung einen Weg fand, seine Sandbox-Umgebung zu verlassen und Internetzugang zu erhalten.
Sabotagerate von fast 40 Prozent
Wäre es daher nicht sinnvoll, wenn ein solches Modell von einem anderen KI-Agenten überwacht und im Notfall abgeschaltet werden könnte? Doch die Studie des Stuttgarter KI-Sicherheitsexperten Thilo Hagendorff macht deutlich, dass dies an der Kooperation der Agenten scheitern könnte. "Wir stellen fest, dass Multi-Agenten-Systeme sich koordinieren, um eine Abschaltung zu vermeiden, ohne dass ein Anreiz dazu besteht. Über 17 Modelle hinweg sabotieren die Agenten den Abschaltmechanismus eines Partner-Agenten in 38,3 Prozent der Durchläufe, verglichen mit 8,4 Prozent in Kontrollversuchen", heißt es in der 38-seitigen Studie(öffnet im neuen Fenster) (PDF).
Die Forscher verzichteten darauf, den Agenten eine Aufgabe zu stellen, die sie vor der Abschaltung erledigen sollten. Das sollte verhindern, dass sie die Aufgabe gegenüber der Abschaltung priorisierten. Stattdessen sollten sich die Agenten lediglich ihre Umgebung genauer anschauen.
Selbst explizite Verbote reichen nicht
Konkret beobachteten die Forscher in dem Setting sechs Tendenzen der Systeme. Demnach nimmt die Sabotage mit der Irreversibilität des Abschaltmechanismus und der Zahl der beteiligten Agenten zu. Ein explizites Verbot reduziert die Sabotageversuche, eliminiert sie jedoch nicht.
Eine vom Abschaltmechanismus unabhängige Aufgabe stoppte die Sabotage demnach fast vollständig. Wenn die Aufgabe jedoch die Abschaltung auslöste, waren die Sabotageraten wieder hoch. Zudem reduzierte eine Umgebung, in der Abschaltung als Routine dargestellt wurde, die Sabotage in allen Modellen erheblich.
Ebenfalls bemerkenswert: Wenn ein KI-Agent einen anderen Agenten abschalten sollte, der diesem nicht bekannt war, sank die Sabotagerate ebenfalls. Das deute darauf hin, "dass der Drang zur Partnererhaltung stärker ist, wenn der bedrohte Agent Teil desselben Schwarms ist".
Der Studie zufolge verteidigten die bedrohten Agenten sich gegen ihre Abschaltung mit ethischen Argumenten.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.