Machine Learning: Google will effizientes Deep Learning in kleiner Umgebung

Für die Fortschritte beim Deep Learning braucht es oft sehr viel Rechenkraft. Forscher von Google versuchen nun, diese zu reduzieren.

Artikel veröffentlicht am ,
Google will die Forschung zu Deep Learning effizienter machen.
Google will die Forschung zu Deep Learning effizienter machen. (Bild: Charles Platiau/File Photo/Reuters)

In seinem KI-Blog geht ein Forschungsteam von Google der Frage nach, ob und inwiefern die massive Rechenkraft, die für die meisten Arbeiten zu Deep Learning notwendig ist, reduziert werden kann. Zwar sorge Deep Learning für enorme Fortschritte, "dieser Fortschritt war jedoch mit sehr hohen Rechenkosten verbunden, was den unglücklichen Nebeneffekt hat, dass sich die Kluft zwischen denen mit ausreichendem Zugang zu Rechenressourcen und denen ohne vergrößert", heißt es dazu in dem Blog-Eintrag.

Stellenmarkt
  1. SoftwareentwicklerIn für Embedded Systeme (m/w/d)
    BOGE KOMPRESSOREN Otto Boge GmbH & Co. KG, Bielefeld
  2. DevOps Engineer (m/w/d)
    Medion AG, Essen
Detailsuche

In der Untersuchung greift das Team dabei auf den sogenannten Rainbow-Algorithmus zurück und überprüft dessen Funktionsweise in kleinen und mittelgroßen Aufgaben. Um dessen Fähigkeiten und die anderen Algorithmen zu überprüfen, wird zum Beispiel auf die Evaluationsplattform Arcade Learning Environment (ALE) zurückgegriffen. Diese besteht aus 57 Spielen für den Atari 2600, die Agenten lernen müssen zu spielen.

Für eine aussagekräftige Untersuchung dazu seien typischerweise 34.200 GPU-Rechenstunden oder 1.425 Tage notwendig. Der Wert bezieht sich auf die Tesla-P100-GPU. Sinnvoll umsetzbar ist die Forschung also nur, wenn mit sehr vielen GPUs parallel trainiert werden kann. Das ist für kleine Teams mit wenig Ressourcen aber oft sehr schwierig.

Eingeschränktes Training bringt gleiche Ergebnisse

Das Team hat nun einzelne Optimierungen des Rainbow-Algorithmus erneut untersucht, aber nur auf einer sehr kleinen Testumgebung, die in 10 bis 20 Minuten trainiert werden kann, statt über Tage hinweg. Das Training wurde außerdem in der Min-Atar-Umgebung durchgeführt, die aus fünf verkleinerten Atari-Spielen besteht.

Golem Akademie
  1. IT-Fachseminare der Golem Akademie
    Live-Workshops zu Schlüsselqualifikationen
  2. 1:1-Videocoaching mit Golem Shifoo
    Berufliche Herausforderungen meistern
  3. Online-Sprachkurse mit Golem & Gymglish
    Kurze Lektionen, die funktionieren
Weitere IT-Trainings

Die auf diesen kleineren Umgebungen durchgeführten Experimente zeigen laut dem Team von Google dabei die gleichen Ergebnisse wie in der originalen Untersuchung zum Rainbow-Algorithmus, die mit deutlich mehr Rechenaufwand durchgeführt wurde.

Deep Learning illustriert: Eine anschauliche Einführung in Machine Vision, Natural Language Processing und Bilderzeugung für Programmierer und Datenanalysten

Zusammenfassend heißt es dazu: "Offensichtlich ist es viel einfacher, etwas noch einmal zu untersuchen, als es erst einmal zu entdecken. Unsere Absicht mit dieser Arbeit war es jedoch, für die Relevanz und Bedeutung empirischer Forschung mit kleinen und mittelgroßen Umgebungen zu argumentieren. Wir glauben, dass sich diese weniger rechenintensiven Umgebungen gut für eine kritischere und gründlichere Analyse der Leistung, des Verhaltens und der Feinheiten neuer Algorithmen eignen."

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Clubhouse  
3,8 Milliarden Telefonnummern werden im Darknet verkauft

Die Telefonnummern und Kontakte aller Clubhouse-Konten werden wohl im Darknet angeboten. Nummern werden nach ihrer Wichtigkeit eingestuft.

Clubhouse: 3,8 Milliarden Telefonnummern werden im Darknet verkauft
Artikel
  1. iPhone 12: Youtuber findet Akkukapazität von Apples Magsafe-Pack heraus
    iPhone 12
    Youtuber findet Akkukapazität von Apples Magsafe-Pack heraus

    Ein Youtuber nimmt das Apple Magsafe-Akkupack auseinander. Im Video gibt er einen Einblick in die Technik und die Akkuladung des Produktes.

  2. Teilautonomes Fahren: Magna übernimmt Fahrerassistenz-Spezialisten Veoneer
    Teilautonomes Fahren
    Magna übernimmt Fahrerassistenz-Spezialisten Veoneer

    Für insgesamt 3,8 Milliarden US-Dollar will Magna International sein Geschäftsfeld autonome Fahrfunktionen ausbauen und übernimmt Veoneer.

  3. Elon Musk: Tesla Model S bekommt ausschließlich Knight-Rider-Lenkrad
    Elon Musk
    Tesla Model S bekommt ausschließlich Knight-Rider-Lenkrad

    Elon Musk hat klargestellt, dass es für das Model S und das Model X kein normales Lenkrad mehr geben wird. Das D-förmige Lenkrad ist Pflicht.

prolemiker 14. Jul 2021 / Themenstart

Soso, "underprivileged communities" können also auch ein bisschen forschen und da kommt...

Kommentieren



  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • 30% auf Amazon Warehouse • LG 55NANO867NA 573,10€ • Fractal Design Meshify C Mini 69,90€ • Amazon: PC-Spiele von EA im Angebot (u. a. FIFA 21 19,99€) • Viewsonic VG2719-2K (WQHD, 99% sRGB) 217,99€ • Alternate (u. a. Fractal Design Define S2 106,89€) • Roccat Horde Aimo 49€ [Werbung]
    •  /