CEO-Bench: KI-Agenten scheitern als virtuelle Chefs
Princeton-Forscher haben einen Benchmark veröffentlicht(öffnet im neuen Fenster), der KI-Agenten 500 Tage lang als virtuelle Geschäftsführer eingesetzt hat. In der Studie(öffnet im neuen Fenster) wurde ein Start-up mit echtem Wettbewerbsdruck, Kundendynamik und Budgetverantwortung simuliert. Die meisten KI-Modelle gingen bankrott.
Komplexer Unternehmensalltag statt Einzelaufgaben
Bisherige Benchmarks wie SWE-Bench oder Webarena prüfen, ob ein Modell eine einzelne Aufgabe löst. CEO-Bench ist anders aufgebaut. Der Agent bekommt eine Python-Schnittstelle, Zugriff auf Unternehmensdatenbanken und Social-Media-Tools. Er muss Preise setzen, Marketingbudgets verteilen, Konkurrenten beobachten und eine langfristige Strategie entwickeln. Alles gleichzeitig, über 500 simulierte Tage.
Die Forscher Haozhe Chen, Karthik Narasimhan und Zhuang Liu identifizierten vier Schwachstellen, die bestehende Benchmarks nicht abbilden: Langzeithorizonte unter Unsicherheit, Informationsgewinnung aus ungenauen Datenquellen, Anpassung an sich verändernde Bedingungen und Koordination vieler voneinander abhängiger Entscheidungen.
Fast alle Modelle scheitern
Nur fünf von mehreren getesteten Modellen endeten mit positivem Kassenbestand. Das Ausgangskapital von einer Million US-Dollar übertrafen am Ende nur Claude Opus 4.8 mit rund 27,8 Millionen US-Dollar und GPT-5.5 mit 21,3 Millionen US-Dollar. Interessant: Die regelbasierte Baseline ohne Sprachmodell erreichte 15,76 Millionen. Modelle wie Grok 4.20, Deepseek V4 Pro und Gemini 3 Flash gingen in allen drei Durchläufen bankrott. Grok 4.20 schaffte im Schnitt gerade mal 28 Tage.
Das theoretische Maximum liegt laut den Forschern bei rund 2,2 Milliarden US-Dollar. Der Benchmark ist also noch lange nicht ausgereizt.
Konkrete Verhaltensunterschiede
Die Forscher beobachteten mehrere konkrete Verhaltensunterschiede. Claude Opus 4.8 baute eine Simulation, um künftige Cashflows unter verschiedenen Szenarien vorherzusagen. GPT-5.5 durchsuchte die Verhandlungshistorie in der Datenbank, um versteckte Kundenpräferenzen aufzudecken. Beide Modelle erkannten Qualitätsverbesserungen der Konkurrenz im Schnitt binnen einer Woche, andere Modelle benötigten rund zwei Wochen.
Ein weiteres Indiz für stärkere Planung ist die Häufigkeit des Wortes "if" in den internen Notizen des Agenten. Claude Opus 4.8 schrieb es 8,57 Mal pro Woche, GPT-5.5 kam auf 7,47, alle anderen Modelle zusammen auf 2,63.
Hinzu kommt ein Befund, der für den Praxiseinsatz relevant sein dürfte: Wird Claude Opus 4.7 in der Claude-Code-Umgebung betrieben statt im schlichten Custom-Harness der Forscher, sinkt die Aktionsrate pro Tag deutlich, und die Leistung verschlechtert sich spürbar. Die Forscher vermuten, dass diese Umgebungen auf Software-Engineering zugeschnitten sind und sich nicht auf Managementaufgaben übertragen lassen.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.