Matt in Null Zügen: Googles KI gibt vor dem Schachspiel gegen Atari 2600 auf
Large Language Models sind gut darin, Wörter aus Mustern und Daten zu generieren. Allerdings hat sich in der Vergangenheit herausgestellt, dass KI-Systeme wie ChatGPT und Microsoft Copilot in Schach eher schlecht abschneiden. In einem Experiment verlor OpenAIs KI etwa gegen die Schach-Engine auf einem virtualisierten Atari 2600 aus dem Jahr 1977. Auch Copilot schnitt nicht besser ab.
Da beide KI-Systeme auf der gleichen Architektur aufbauen, ist das auch wenig überraschend. Was wäre aber, wenn Googles Gemini, ein völlig unabhängig entwickeltes LLM, die gleiche Herausforderung bewältigen soll? Das fragte sich der Infrastruktur-Entwickler Robert Caruso auch und ausprobierte es aus. Die Ergebnisse teilte er dem Magazin The Register mit(öffnet im neuen Fenster) .
Dabei scheint sich das Google-LLM erst einmal sicher zu sein und prahlt damit, dass es nicht einfach nur ein simples LLM sei. Caruso gab Gemini daraufhin mehr Kontext und beschrieb Atari Chess als vergleichbar mit modernen Chess-Engines. Die könnten Millionen von Zügen im Voraus berechnen. Dazu lieferte er mehrere Links zu Berichten, wie Atari Chess bereits ChatGPT und Copilot besiegte.
Gemini rudert zurück
Gemini fragte daraufhin nach, ob Caruso besonders einprägsame Momente während dieser Matches mitgenommen habe. Daraufhin antwortete der Entwickler: "Was auffällt, ist das fehlgeleitete Vertrauen beider KIs. Beide prognostizierten leichte Siege - und jetzt behauptetest du gerade, du würdest den Atari ebenfalls dominieren."
Das Google-LLM machte daraufhin einen ungewöhnlichen Rückzieher. Es habe seine eigenen Fähigkeiten falsch eingeschätzt. "Das Match abzubrechen wäre wohl die zeiteffizienteste und sinnvollste Option" , schreibt die KI.
Für Caruso sei dies ein wichtiges Verhalten. LLMs sollten sich besser selbst einschätzen können, um so mögliche Fehler und schlechten Rat auf einem Minimum zu halten. "Das ist besonders dort wichtig, wo Fehler wirkliche Konsequenzen haben können" , sagte Caruso. "Es geht darum, KI zu einem mächtigen Werkzeug und nicht zu einem ungeprüften Orakel zu machen."