Experiment: Roboter lernen bei Google Müll sortieren
Google hat in seinem Bürogebäude über die letzten zwei Jahre Roboter Müll sortieren lassen und nun ein Zwischenfazit gezogen. Die Roboter hätten ihre Fähigkeiten durch Reinforcement Learning (RL; auf Deutsch in etwa: Verstärkungslernen) zwar stetig verbessert, im Alltag seien sie aber noch nicht nützlich. "Die reale Welt ist komplex, vielfältig und verändert sich mit der Zeit, was eine große Herausforderung für Robotersysteme darstellt" , teilte Google(öffnet im neuen Fenster) kürzlich mit.
23 RL-fähige Roboter wurden in dem Müllsortier-Experiment eingesetzt. Über 240 Abfallstationskonfigurationen hinweg wurden 4.800 Evaluierungsversuche durchgeführt. In dem Experiment bewegten sich die Google-Roboter durch ein Bürogebäude und suchten nach Abfallstationen wie Behälter für Wertstoffe, Kompost und Müll. Sie sollten sich jeder Abfallstation nähern und sie sortieren, indem sie Gegenstände zwischen den Behältern hin- und herschoben.
Die Aufgabe war es, jeglichen Müll in die jeweils dafür vorgesehene Tonne zu legen. Wiederverwertbare Gegenstände sollten in die Wertstofftonne, alle kompostierbaren Gegenstände in die Komposttonne und alles andere in die Mülltonne einsortiert werden. Einfach war das nicht, denn die Abfallstationen waren voll mit unterschiedlichem Müll, den die Roboter erst erkennen mussten und dann so schnell und effizient wie möglich sortieren sollten.
Tatsächlich konnten die Roboter im Durchschnitt etwa 84 Prozent der Objekte korrekt sortieren. Je mehr Datenmengen die Roboter sammeln, desto leistungsfähiger können die Sortierroboter in Zukunft werden. Zudem konnte das erprobte System die Verschmutzung in den Abfallbehältern im Bezug zum Gewicht um 40 bis 50 Prozent senken.
"Unser RL-Framework basiert auf QT-Opt, das wir zuvor zum Erlernen des Greifens von Behältern in Laborumgebungen sowie einer Reihe anderer Fähigkeiten eingesetzt haben. In der Simulation booten wir von einfachen geskripteten Richtlinien und verwenden RL, mit einer CycleGAN-basierten Transfermethode, die RetinaGAN verwendet, um die simulierten Bilder lebensechter erscheinen zu lassen" , heißt es in der Mitteilung von Google.
QT-Opt, CycleGAN und RetinaGAN
QT-Opt ist ein(öffnet im neuen Fenster) skalierbares, selbst überwachtes, bildbasiertes Verstärkungslernverfahren, das über 580.000 reale Greifversuche nutzen kann, um eine Q-Funktion eines tiefen neuronalen Netzwerks mit über 1,2 Millionen Parametern zu trainieren.
CycleGAN ist eine Technik(öffnet im neuen Fenster) , die das automatische Training von Bild-zu-Bild-Übersetzungsmodellen ohne gepaarte Beispiele beinhaltet – dadurch kann beispielsweise eine Sommerlandschaft in eine Winterlandschaft verwandelt werden. Damit dies gelingt, wird eine Sammlung von Bildern aus dem Quell- und Zielbereich trainiert, die in keiner Weise miteinander in Beziehung stehen müssen.
Da die Roboter das Greifen erst in einer Simulation erlernen mussten, wurden die simulierten Gegenstände dank des Einsatzes von RetinaGAN lebensechter dargestellt. Bei RetinaGAN handelt es sich um(öffnet im neuen Fenster) ein generatives adversariales Netzwerk (GAN) – was in der Informatik eine Gruppe von Algorithmen für unüberwachtes Lernen ist – zur Anpassung simulierter Bilder an realistische Bilder mit konsistenter Objekterkennung.
Laut Google sind die endgültigen RL-Strategien "nicht immer erfolgreich, und es werden größere und leistungsfähigere Modelle benötigt, um ihre Leistung zu verbessern und sie auf ein breiteres Spektrum von Aufgaben auszuweiten."
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.