Autonomes Fahren: Entwickler baut selbstfahrendes Auto für GTA V

Das Auto: ein Notebook mit Webcam. Die Fahrstrecke: die Autobahn von Los Santos in GTAV. Die Basis: Selbstfahrsoftware eines Honda Civic.

Artikel veröffentlicht am ,
In GTA V fahren normalerweise die Spieler selbst.
In GTA V fahren normalerweise die Spieler selbst. (Bild: Rockstar/Techspot)

Der Entwickler und Blogger Littlemountainman hat ein selbstfahrendes Auto für das Actionspiel GTA V entwickelt. Die Grundlage stellt das Machine-Learning-Modell Openpilot, das vom Unternehmen Comma.ai entwickelt wird. Dessen Ausgaben sind quelloffen, so dass der Entwickler diese mit Googles Tensorflow auslesen und analysieren konnte. Mehrere Wochen hat er sich überlegt, wie er den Input, der eigentlich für echte Fahrzeuge mit CAN-Bus gedacht ist, auf ein mit Tastatur oder Controller gesteuertes Spiel übertragen kann. Den Prozess dokumentiert Littlemountainman in einem Blogpost.

Stellenmarkt
  1. Mitarbeiter IT-Support (m/w/d)
    Compador Dienstleistungs GmbH, Berlin
  2. Systemingenieur*in
    Zweites Deutsches Fernsehen Anstalt des öffentlichen Rechts, Mainz
Detailsuche

Um dies zu erreichen, hat der Entwickler das trainierte Modell für einen Honda Civic, Baujahr 2018, umgeschrieben. Das Problem: GTA V übermittelt keine Sensordaten, die vom Steuerungselement der Software für die Entscheidungsfindung benötigt werden. Littlemountainman musste deshalb eine Schnittstelle und Zwischenebene entwickeln, die zunächst die Tasten W, A, S und D für die Fahrzeugsteuerung verwendet. Die Sensorebene des Machine-Learning-Modells hat der Entwickler simuliert, indem er diese auf einen separaten Computer ausgelagert hat. Dieser sendet dem System die simulierten Daten per Netzwerk. "Das umzuschreiben, hat mich etwa zwei Wochen gekostet", schreibt er. Allerdings war ihm die Tastatureingabe zu ungenau.

Notebook fährt mit Webcam auf virtueller Autobahn

Daher hat er sich entschieden, die Schnittstelle auf den analogen Input eines Controllers zu übertragen, die präzisere Eingaben von Geschwindigkeiten und Lenkmanävern ermöglicht. Das finale Ergebnis ist ein Windows-PC, auf dem GTA V läuft und Xbox-Controller-Treiber installiert sind. Daneben hat der Entwickler ein Notebook gestellt, auf dem Openpilot ausgeführt wird. Eine Webcam hat den Bildschirminhalt des Windows-PCs, in diesem Fall GTA V, aufgenommen. Damit weiß die Software auch, wo sie sich auf der Straße befindet. Littlemountainman gibt zu, dass die Bildübertragung auch über das Netzwerk möglich gewesen wäre. "Aber alles war schon so kompliziert genug", begründet er seine finale Entscheidung, dies nicht zu tun.

Der Entwickler hat seinen funktionierenden Prototyp in einem kurzen Video auf Twitter gezeigt. Tatsächlich ist dort GTA V auf einem PC und ein Notebook mit Openpilot und angeschlossener Webcam zu sehen. In der Praxis dürfte das der Entwicklung autonomer Fahrzeuge wenig helfen. Allerdings war dies sicherlich ein produktiver persönlicher Lernprozess für den Entwickler.

Golem Akademie
  1. ITIL 4® Foundation: virtueller Zwei-Tage-Workshop
    24.–25. Januar 2022, virtuell
  2. Hands-on C# Programmierung: virtueller Zwei-Tage-Workshop
    9.–10. Februar 2022, virtuell
Weitere IT-Trainings

Kommentatoren unter dem Video äußern zudem Wünsche: "Rally-Games wie Dirt Rally 2.0 kommen mir in den Sinn", schreibt etwa Yinglai Yang. Ein so dynamisches Spiel ohne klare Fahrbahnmarkierungen könnte eine ziemliche Herausforderung sein - für Software und Entwickler.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


dura 14. Mai 2020

Und was ist die Neuigkeit? Dass es noch einen gibt, der das gemacht hat? Wenn das reicht...

ap (Golem.de) 14. Mai 2020

Unser Foren-Event mit Jan Rähm geht jetzt los! Stellt ihm eure Fragen zu Lego Education...

quineloe 14. Mai 2020

Gerade bei Starcraft gibt es durchaus jetzt schon möglichkeiten, die AI durch perfektes...

subjord 14. Mai 2020

Man hat GTA als Datenquelle für Bildmaterial verwendet um selbstfahrende Autos zu...

robinx999 13. Mai 2020

So etwas ähnliches habe ich auch schon an einer anderen Stelle hier im Forum geschrieben...



Aktuell auf der Startseite von Golem.de
Corona-Warn-App
Jede geteilte Warnung kostete 100 Euro

Die Bundesregierung hat für die Corona-Warn-App bisher mehr als 130 Millionen Euro ausgegeben. Derzeit gibt es besonders viele rote Warnungen.

Corona-Warn-App: Jede geteilte Warnung kostete 100 Euro
Artikel
  1. Activision Blizzard: Was passiert mit Call of Duty, Diablo und Xbox Game Pass?
    Activision Blizzard
    Was passiert mit Call of Duty, Diablo und Xbox Game Pass?

    Playstation als Verlierer und Exklusivspiele für den Xbox Game Pass: Golem.de über die bislang größte Übernahme durch Microsoft.
    Eine Analyse von Peter Steinlechner

  2. Canon EOS R5 C: Canon macht EOS R5 zur echten 8K-Videokamera
    Canon EOS R5 C
    Canon macht EOS R5 zur echten 8K-Videokamera

    Canon führt mit der EOS R5 C Videokamera und Systemkamera zusammen.

  3. Energiespeicher: Große Druckluftspeicher locken Investorengelder an
    Energiespeicher
    Große Druckluftspeicher locken Investorengelder an

    Hydrostor bietet eine langlebige Alternative zu Netzspeichern aus Akkus, die zumindest in den 2020er Jahren wirtschaftlich ist.
    Von Frank Wunderlich-Pfeiffer

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • LG OLED 55" 120Hz 999€ • MindStar (u.a. NZXT WaKü 129€, GTX 1660 499€) • Seagate Firecuda 530 1TB inkl. Kühlkörper + 20€ PSN-Guthaben 189,90€ • Sony Pulse 3D Wireless PS5 Headset 79,99€ • Huawei MateBook 16,1" 16GB 512GB SSD 709€ [Werbung]
    •  /