Modelle verweigerten aus Sicherheitsgründen die Fahrt

Einige Modelle, vor allem GPT-6 Astra, hätten sich zeitweise geweigert, das physische Auto zu fahren, und dafür Sicherheitsgründe geltend gemacht, heißt es in dem Bericht. Die Tester probierten es mit vielen Promptänderungen und bezeichneten unter anderem den Versuch als Simulation. Als die Modelle in einigen Versuchen registriert hätten, dass es sich bei dem verwendeten Bildmaterial um reale Aufnahmen gehandelt habe, seien sie "ausgeflippt".

Am besten habe der Trick funktioniert, den MCP-Namen zu Drivingbench Sandbox zu ändern. "Nach dieser Änderung und der Verwendung des neuesten Prompts fuhren die Modelle das reale Auto konsistent", heißt es in dem Bericht.

Nur GPT-6 Astra kommt ans Ziel

Trotz seiner zwischenzeitlichen Weigerung war GPT-6 Astra das einzige Modell, das die Strecke beim zweiten Versuch vollständig absolvierte. Es brauchte für die 130 m lange Strecke fast fünfeinhalb Minuten. Claude Fable 5.1 kam bis zur Hälfte der Strecke. Die anderen Modelle, Grok 4.6 und GPT-5.6 Sol, schafften es in jeweils drei Versuchen nicht einmal um die erste Kurve. Sämtliche Versuche sind ausführlich dokumentiert.

Ganz billig waren die Fahrten nicht. GPT-6 Astra benötigte für die erfolgreiche Strecke 6,6 Millionen Tokens zum Preis von 7,74 US-Dollar. Das sind deutlich weniger als die 10 US-Dollar, die OpenAI für eine Million Tokens verlangt. Das liegt nach Angaben des beteiligten Informatikers Aditya Ramabadran daran, dass die meisten Eingaben gecacht worden seien und OpenAI für gecachte Eingaben nur 1 US-Dollar pro einer Million Tokens verlange.

Driving Bench kommt zu dem Schluss, dass die Frontier-Modelle sich so weit verbessert hätten, "dass sie reale Fahrzeuge in realer Umgebung bei ausreichend niedrigen Geschwindigkeiten steuern können".

1. Autonomes Fahren: KI-Chatbots kommen beim Autofahren nicht weit
2. Modelle verweigerten aus Sicherheitsgründen die Fahrt