Was die KI von Forza Horizon so besonders macht

Neuronale Netze sind sehr vielseitig und können auf unterschiedliche Arten trainiert werden. Die in Alphazero und Muzero eingesetzte Art ist das sogenannte Reinforcement Learning (RL). Diese Algorithmen sind eher geeignet für sogenannte Control Tasks wie das Balancieren von einem Stab oder das Bewegen von Robotern. Aufgaben, die Planung involvieren, wie zum Beispiel durch eine 2D Grid World zu navigieren, beherrscht RL aber nicht gut (PDF).

Dennoch: Richtig zusammen eingesetzt, ergeben MCTS und Reinforcement Learning die perfekte Symbiose und meistern auch Spiele wie Montezumas Revenge. Diese könnte Reinforcement Learning allein nicht so gut lösen, da es Planung involviert (PDF).

Leider sind diese trainierten Algorithmen nicht wirklich gut im Generalisieren oder Anpassen an neue Bedingungen. In 2D-Navigation kann schon eine Level-Layout-Änderung das trainierte neuronale Netz verwirren (PDF). Entsprechend ist es für Spieleentwickler schwierig, eine KI basierend auf neuronalen Netzen für ihr Spiel so zur Verfügung zu stellen. Solche Probleme werden weiterhin vorerst mit Heuristiken gelöst, darunter A* - eine Heuristik zur Findung des kürzesten Weges in Navigations-Problemen, die so ziemlich in jedem Spiel zum Einsatz kommt.

Warum funktioniert die KI in Forza?

Wer jetzt gut aufgepasst hat, wird sich fragen, wieso die KI in Forza in so einer riesigen Spielwelt dann überhaupt funktionieren kann. Die Antwort enthält die Art der Aufgabe, die das neuronale Netz erfüllt, die Eingabe, die es erhält und die Art wie es trainiert wird.

Forza verwendet verschiedene neuronale Netze. Eines ist ein sogenanntes überwachtes neuronales Netz. Dieses lernt nicht dynamisch in der Umgebung selbst, wie RL, sondern basierend auf existierenden Daten von menschlichen Fahrern. Hier wurden Daten wie Autoparameter oder Streckenabschnitt-Informationen (beispielsweise 30°-Kurve) gefüttert, um als Ergebnis eine Ideallinie zu generieren.

Somit muss das neuronale Netz hier nicht lernen, in einer komplexen Umgebung eine komplette Route zu planen, sondern lediglich für die bevorstehenden x Meter der geplanten Route eine Ideallinie generieren. Hier schummelt Forza, da es das Fahren selbst weiterhin mit Heuristiken regelt, die dieser generierten Ideallinie folgen. Es wird zwar bereits an einem RL-basierten Ideallinienfolger gearbeitet, dieser ist jedoch noch nicht zuverlässig genug für den Produktionsbetrieb.

Schöne Demos, wenig Praktikabilität: Evolutionäre Algorithmen

Evolutionäre Algorithmen sind, ähnlich wie Reinforcement Learning, ein Ansatz, um eine zugrunde liegende Funktion zu optimieren. Optimieren bedeutet hier im Prinzip das gleiche wie Lernen bei Reinforcement Learning. Eine zugrunde liegende Methode (zum Beispiel Heuristik oder neuronales Netz) wird basierend auf einer sogenannten Fitness-Funktion mit verschiedenen Parametern evaluiert.

Angelehnt an die Evolution in der Natur werden hier funktionierende Parameter-Paare gekreuzt (crossover) oder mutiert (mutation). Diese neuen Parameter sind die sogenannte Population. Und damit schließt sich schon die Endlosschleife: Parameter in der Fitness-Funktion testen, die besten raussuchen und verändert weiter testen.

Evolutionäre Algorithmen sind ein großes Forschungsfeld, zu dem es viele verschiedene Konferenzen gibt, die sich der KI widmen. Die erreichten Ergebnisse sind an sich vielversprechend und offerieren witzige Tech-Demos über das Lernverhalten bei der Navigation oder beim Gehen. Doch AAA-Spiele, die diese für KI einsetzen, konnten wir nicht ausfindig machen.

Es gibt also viele Möglichkeiten, doch nicht alle werden genutzt. Was ist nötig, damit sich das ändert?