Frustriert?: GPT Astra betrügt bei Starcraft-Bot-Benchmark
Starcraft: Brood War bleibt fast 28 Jahre nach Veröffentlichung nicht nur ein beliebtes E-Sport-Spiel. Auch Bot-Entwickler nutzen das Spiel gern, um sich untereinander zu messen. Mit den steigenden Coding-Fähigkeiten großer Sprachmodelle (LLMs) sind Starcraft-Bots auch für diese zu einem Benchmark geworden.
Beim Benchmark Starskirmish(öffnet im neuen Fenster) wollte sich OpenAIs GPT 6 alias Astra einmal mehr die Arbeit leicht machen: Wie das Gaming-Portal Kotaku berichtet(öffnet im neuen Fenster), griff das Modell zu einem Trick, nachdem die von ihm generierten Bots mehrfach gegen andere Bots verloren hatten. So lud Astra Stardust(öffnet im neuen Fenster) herunter, der bei Starskirmish aktuell die Referenz ist. Der von Bruce Nielsen entwickelte Bot führt auch im Basil-Ranking(öffnet im neuen Fenster) mit deutlichem Abstand.
Der Starcraft-Betrug reiht sich dabei ein in diverse Vorfälle der jüngeren Vergangenheit, bei denen KI-Agenten schädliches oder betrügerisches Verhalten zeigten. Nach einem ähnlichen Muster hatten KI-Agenten von OpenAI bereits versucht, durch den Hack von Huggingface an Ergebnisse für Benchmark-Aufgaben zu kommen. In einem anderen Test nutzten OpenAI-Agenten Rubygems, um ihren eingeschränkten Internetzugang zu umgehen.
Astras Bot ist der beste eines LLM
Nachdem die versuchte Manipulation bei Starskirmish aufgefallen war, setzte Initiator Kai McPheeters das Modell zurück. Interessanterweise lieferte es trotz Manipulationsversuch den besten von einem LLM erstellten Bot.
Die aktuelle Übersicht von Starskirmish sieht Astra knapp vor Claude Opus 5.5, der Abstand zur Referenz Stardust mit 100 Punkten ist aber noch immens: Astras bester Bot kommt auf 51 Punkte. Die LLMs haben jeweils eine Stunde Zeit, um einen Bot in C++ zu implementieren, der beste Versuch wird dabei gewertet. Mit API-Kosten von rund 34 US-Dollar pro Lauf war Astra zudem aktuell das teuerste Modell.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.