Deep Learning: Forscher von Uber bringen ihrer KI das Spiel Pitfall bei

Anhand von Spieleklassikern wie Montezuma's Revenge haben Wissenschaftler von Uber neue Algorithmen zur Wegfindung ausprobiert - und dabei nach eigenen Angaben in Pitfall erstmals überhaupt Punkte für eine KI eingefahren.

Artikel veröffentlicht am ,
Die KI von Uber spielt Pitfall.
Die KI von Uber spielt Pitfall. (Bild: Uber)

Der traurige Rekord einer künstlichen Intelligenz im Klassiker Pitfall: Null Punkte - bislang. Das haben jedenfalls Wissenschaftler des Fahrdienstleisters Uber herausgefunden, nachdem sie ihrer eigenen KI das Spiel erfolgreich beigebracht haben. Auch in Montezuma's Revenge haben sie Bestleistungen erzielt, allerdings konnten KIs dieses Spiel von Atari schon bisher einigermaßen gut lösen.

Stellenmarkt
  1. Softwareentwickler (m/w/d) Webanwendungen - Java und relationale Datenbanken
    WIBU-SYSTEMS AG, Karlsruhe
  2. Keyuser SAP HCM Zeitwirtschaft (w/m/d)
    Schwarz Produktion Stiftung & Co. KG, Weißenfels, Raum Halle/Leipzig
Detailsuche

Die Forscher wollten anhand der beiden Games neue Ansätze zur Problemlösung und Wegfindung ausprobieren, wie sie in ihrem Blog schreiben. Die Erkenntnisse könnten unter anderem in der Robotik weiterhelfen.

Besonders herausfordernd seien die Probleme bei Pitfall gewesen. Dessen Spielablauf funktioniere schlecht mit klassischem Deep Learning, weil es nur wenige klar erkennbare Belohnungen gebe, für deren Erlangung sich die Algorithmen in immer neuen Durchgängen optimieren könnten. Gerade mal 32 solcher Gaben seien in den über 255 Umgebungen versteckt.

Stattdessen würden "viele Aktionen zu kleinen negativen Belohnungen führen, wodurch die Algorithmen von der Erkundung der Umgebung abhalten", schreiben die Wissenschaftler. Gemeint ist etwa, dass die Hauptfigur in einem Sumpf versinkt oder von einem Krokodil gefressen wird. Aus diesem Grund seien bisher alle Versuche einer echten KI in Pitfall direkt nach dem Start gescheitert - ohne einen einzigen Punkt.

Golem Akademie
  1. C++ Programmierung Basics: virtueller Fünf-Tage-Workshop
    13.–17. Dezember 2021, virtuell
  2. Azure und AWS Cloudnutzung absichern: virtueller Zwei-Tage-Workshop
    17.–18. März 2022, virtuell
Weitere IT-Trainings

Um zu besseren Ergebnissen zu kommen, haben die Forscher bei Uber ein paar neue Ansätze kombiniert. So sei ihrer KI - die sie Go-Explore nennen - beigebracht worden, sich bei der Erkundung neuer Umgebungen besser an bereits erkundete Levels zu erinnern, die Ergebnisse zu kombinieren und dann immer wieder nach frischen Lösungsansätzen zu suchen.

Zusätzlich haben die Programmierer neue Wege gefunden, der KI einen schnellen Überblick über noch unbekanntes Terrain zu geben, indem sie deren Aufbau auf eine bewusst simple Art herunterskalieren und das Ergebnis ins Archiv übernehmen.

Außerdem habe es sich bewährt, "zuerst die Aufgaben zu lösen und - falls nötig - die Lösung erst später robuster machen", statt zu früh mit dem Optimieren zu beginnen. Das alles habe dazu geführt, dass Go-Explore in Pitfall über 21.000 Punkte sammeln konnte, was deutlich mehr sei als das, was sehr gute menschliche Spieler schaffen würden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


ko3nig 28. Nov 2018

Na du Schlaumeier, dann verrat mir mal wie solche 'menschenähnliche' Imitationen bisher...

Flexor 28. Nov 2018

https://www.youtube.com/watch?v=qv6UVOQ0F44 Hier ist es sehr interessant erklärt, wie...

Lefteous 28. Nov 2018

und dann kommen die scheiss Krokodile und bei dem Schock ist man dann meistens tot. Ist...

krangerich 27. Nov 2018

Ich denke, so eine stark abstrahierte und vermenschlichte Betrachtungsweise entfernt...

Akaruso 27. Nov 2018

Natürlich muss eine KI auch erstmal von einem Programmierer entwickelt und programmiert...



Aktuell auf der Startseite von Golem.de
Feldversuch E-Mobility-Chaussee
So schnell bringen E-Autos das Stromnetz ans Limit

Das Laden von Elektroautos stellt Netzbetreiber auf dem Land vor besondere Herausforderungen. Ein Pilotprojekt hat verschiedene Lösungen getestet.
Ein Bericht von Friedhelm Greis

Feldversuch E-Mobility-Chaussee: So schnell bringen E-Autos das Stromnetz ans Limit
Artikel
  1. Encrochat-Hack: Damit würde man keinen Geschwindigkeitsverstoß verurteilen
    Encrochat-Hack
    "Damit würde man keinen Geschwindigkeitsverstoß verurteilen"

    Der Anwalt Johannes Eisenberg hat sich die Daten aus dem Encrochat-Hack genauer angesehen und viel Merkwürdiges entdeckt.
    Ein Interview von Moritz Tremmel

  2. Geforce Now (RTX 3080) im Test: 1440p120 mit Raytracing aus der Cloud
    Geforce Now (RTX 3080) im Test
    1440p120 mit Raytracing aus der Cloud

    Höhere Auflösung, mehr Bilder pro Sekunde, kürzere Latenzen: Geforce Now mit virtueller Geforce RTX 3080 ist Cloud-Gaming par excellence.
    Ein Test von Marc Sauter

  3. SpaceX: Starlink testet Satelliteninternet in Flugzeugen
    SpaceX
    Starlink testet Satelliteninternet in Flugzeugen

    Bald dürften mehrere Flugesellschaften Starlink-Service anbieten. Laut einem Manager soll es so schnell wie möglich gehen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Gaming-Monitore zu Bestpreisen (u. a. Samsung G9 49" 32:9 Curved QLED 240Hz 1.149€) • Spiele günstiger: PC, PS5, Xbox, Switch • Zurück in die Zukunft Trilogie 4K 31,97€ • be quiet 750W-PC-Netzteil 87,90€ • Cambridge Audio Melomonia Touch 89,95€ • Gaming-Stühle zu Bestpreisen [Werbung]
    •  /