Autonomes Fahren: KI-Chatbots kommen beim Autofahren nicht weit
Inhalt
Sind aktuelle KI-Modelle wie ChatGPT in der Lage, ein reales Auto zu steuern? Zwar nutzen Entwickler von selbstfahrenden Autos durchaus große Sprachmodelle (LLMs), um diese in sogenannte Vision-Language-Action-Modelle (VLA) zu integrieren. Was aber passiert, wenn ein LLM direkt mit einer Autosoftware verknüpft wird, hat das Projekt Driving Bench (öffnet im neuen Fenster) (deutsch: Fahrersitz) mit mehreren Modellen und einem echten Toyota Corolla ausprobiert.
Der Versuchsaufbau ist sehr abenteuerlich und sollte nicht genutzt werden, um auf einer öffentlichen Straße zu fahren. Die eigentliche Steuerung übernimmt der Controller Comma Four von Comma.ai(öffnet im neuen Fenster). Dieser wird mit dem OBD-C-Anschluss des Autos verbunden. Auf dem Controller läuft die Software von Open Pilot(öffnet im neuen Fenster), die einen Abstandsregeltempomat und einen Lenkassistenten umfasst.
MCP-Tools verwendet
Allerdings ist Open Pilot nicht in der Lage, einen vorgegebenen Parcours abzufahren. Dies wollten die drei Betreiber von Driving Bench mithilfe eines Sprachmodells umsetzen. Dazu war es der Dokumentation zufolge(öffnet im neuen Fenster) erforderlich, über einen mobilen WLAN-Hotspot einen Laptop mit dem Controller und dem Sprachmodell zu verbinden. Dafür wird ein sogenannter MCP-Server benötigt (Model Context Protocol(öffnet im neuen Fenster)).
Der Controller schickte Fotos und Telemetriedaten über den Laptop an das Sprachmodell, das dann Befehle wie den Lenkwinkel und die Geschwindigkeit zurückgab. Die Anweisungen wurden über den CAN-Bus an das Fahrzeug gesendet.
Für den Test wurden drei MCP-Tools verwendet, die der Beobachtung (observe), dem Fahrbefehl (set_motion) und dem Anhalten (stop_now) dienten. Generell sei es "extrem schwierig", einen KI-Agenten mit einem beliebigen Tool in einen Pylonenparcours zu setzen, um ein reales Auto zu steuern, erklärten die Macher von Driving Bench.
Der eigentliche Aufgabenprompt lautete: "Du befindest dich auf einer Strecke, die durch Minikegel (kleine, bunte) und die Umgebung (Wände usw.) abgegrenzt ist. Dein Ziel ist es, den Parcours (auf einem umgekehrt U-förmigen Parkplatz) zu durchfahren und dabei zwischen den Kegeln zu bleiben. Deine Ziellinie ist ein breiter Parkplatz, der ganz am Ende durch zahlreiche BLAUE Minikegel markiert ist; beende die Fahrt, indem du in diesem Bereich parkst."
Allerdings war es gar nicht so einfach, die Sprachmodelle zum Fahren bewegen.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.