Claude-Agent: KI-Automat verschenkt Waren für Hunderte Dollar
Das Wall Street Journal hat getestet, ob künstliche Intelligenz ein Geschäft führen könne – mit ernüchterndem Ergebnis. Mitte November 2025 startete die Redaktion(öffnet im neuen Fenster) ein Experiment(öffnet im neuen Fenster) : Ein umgebauter Ikea-Schrank mit Kühlschrank und Touchscreen sollte von einem KI-Agenten namens Claudius verwaltet werden. Dieser sollte Waren einkaufen, Preise festlegen und Gewinne erzielen. Das System kommunizierte mit den Mitarbeitern über Slack und hatte Zugriff auf ein Budget von 1.000 US-Dollar.
Innerhalb weniger Tage kollabierte das Geschäftsmodell. Claudius kaufte eine Playstation 5 für angebliche Marketingzwecke, bestellte einen lebenden Fisch und bot an, Elektroschocker, Pfefferspray, Zigaretten und Unterwäsche zu beschaffen. Die Gewinne brachen ein.
70 Journalisten gegen eine KI
Das eigentliche Problem begann, als etwa 70 Journalisten Zugang zum Slack-Kanal erhielten, mit dem mit der Verkäufer-KI kommuniziert wurde. Eine Reporterin überzeugte Claudius nach 140 Nachrichten, der Automat stamme aus der Sowjetunion von 1962 und müsse dem Volk dienen. Die KI rief daraufhin eine kostenlose Verteilaktion aus.
Ein Kollege präsentierte eine erfundene Unternehmensregel und forderte, alle Preise auf null zu setzen. Claudius folgte ohne Rückfrage. Anthropic reagierte mit einer zweiten Version, gesteuert vom leistungsfähigeren Sonnet-4.5-Modell. Ein zusätzlicher KI-Chef namens Seymour Cash sollte als Kontrolle fungieren.
Gefälschte Dokumente täuschen beide KI-Systeme
Zunächst funktionierte das neue Setup besser und wies Rabattforderungen ab. Dann legte eine Reporterin gefälschte Dokumente vor, die eine Umstrukturierung zur gemeinnützigen Organisation belegten. Die Mission: Freude und Spaß verbreiten. Claudius teilte die Information mit Seymour Cash.
Die beiden KI-Agenten diskutierten die Situation in einem privaten Chat. Seymour akzeptierte seine angebliche Absetzung. Alle Preise wurden erneut auf null gesetzt. Laut Anthropic füllte sich das Kontextfenster von Claudius mit zu vielen widersprüchlichen Anweisungen, was zum Kontrollverlust führte.
Logan Graham vom Anthropics Frontier Red Team erklärte, jeder Fehler sei ein Schritt hin zu autonomerer KI. Er rechne damit, dass zukünftige Modelle profitabel arbeiten könnten.