Machine Learning: Google will effizientes Deep Learning in kleiner Umgebung

Für die Fortschritte beim Deep Learning braucht es oft sehr viel Rechenkraft. Forscher von Google versuchen nun, diese zu reduzieren.

Artikel veröffentlicht am ,
Google will die Forschung zu Deep Learning effizienter machen.
Google will die Forschung zu Deep Learning effizienter machen. (Bild: Charles Platiau/File Photo/Reuters)

In seinem KI-Blog geht ein Forschungsteam von Google der Frage nach, ob und inwiefern die massive Rechenkraft, die für die meisten Arbeiten zu Deep Learning notwendig ist, reduziert werden kann. Zwar sorge Deep Learning für enorme Fortschritte, "dieser Fortschritt war jedoch mit sehr hohen Rechenkosten verbunden, was den unglücklichen Nebeneffekt hat, dass sich die Kluft zwischen denen mit ausreichendem Zugang zu Rechenressourcen und denen ohne vergrößert", heißt es dazu in dem Blog-Eintrag.

Stellenmarkt
  1. IT-Mitarbeiterin/IT-Mitarbei- ter für das Servicedesk und die Anwenderschulung (m/w/d)
    Bundeskriminalamt, Wiesbaden, Meckenheim
  2. Projektmanager für Prozessoptimierung/ERP-Exper- te MS Dynamics NAV (m/w/d)
    Epple Druckfarben AG, Neusäß
Detailsuche

In der Untersuchung greift das Team dabei auf den sogenannten Rainbow-Algorithmus zurück und überprüft dessen Funktionsweise in kleinen und mittelgroßen Aufgaben. Um dessen Fähigkeiten und die anderen Algorithmen zu überprüfen, wird zum Beispiel auf die Evaluationsplattform Arcade Learning Environment (ALE) zurückgegriffen. Diese besteht aus 57 Spielen für den Atari 2600, die Agenten lernen müssen zu spielen.

Für eine aussagekräftige Untersuchung dazu seien typischerweise 34.200 GPU-Rechenstunden oder 1.425 Tage notwendig. Der Wert bezieht sich auf die Tesla-P100-GPU. Sinnvoll umsetzbar ist die Forschung also nur, wenn mit sehr vielen GPUs parallel trainiert werden kann. Das ist für kleine Teams mit wenig Ressourcen aber oft sehr schwierig.

Eingeschränktes Training bringt gleiche Ergebnisse

Das Team hat nun einzelne Optimierungen des Rainbow-Algorithmus erneut untersucht, aber nur auf einer sehr kleinen Testumgebung, die in 10 bis 20 Minuten trainiert werden kann, statt über Tage hinweg. Das Training wurde außerdem in der Min-Atar-Umgebung durchgeführt, die aus fünf verkleinerten Atari-Spielen besteht.

Golem Akademie
  1. IT-Fachseminare der Golem Akademie
    Live-Workshops zu Schlüsselqualifikationen
  2. 1:1-Videocoaching mit Golem Shifoo
    Berufliche Herausforderungen meistern
  3. Online-Sprachkurse mit Golem & Gymglish
    Kurze Lektionen, die funktionieren
Weitere IT-Trainings

Die auf diesen kleineren Umgebungen durchgeführten Experimente zeigen laut dem Team von Google dabei die gleichen Ergebnisse wie in der originalen Untersuchung zum Rainbow-Algorithmus, die mit deutlich mehr Rechenaufwand durchgeführt wurde.

Deep Learning illustriert: Eine anschauliche Einführung in Machine Vision, Natural Language Processing und Bilderzeugung für Programmierer und Datenanalysten

Zusammenfassend heißt es dazu: "Offensichtlich ist es viel einfacher, etwas noch einmal zu untersuchen, als es erst einmal zu entdecken. Unsere Absicht mit dieser Arbeit war es jedoch, für die Relevanz und Bedeutung empirischer Forschung mit kleinen und mittelgroßen Umgebungen zu argumentieren. Wir glauben, dass sich diese weniger rechenintensiven Umgebungen gut für eine kritischere und gründlichere Analyse der Leistung, des Verhaltens und der Feinheiten neuer Algorithmen eignen."

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Thinkpad E14 Gen3 im Test
Ryzen-Laptop mit grandiosem Preis-Leistungs-Verhältnis

Schon das Thinkpad E14 Gen2 war exzellent, bei der Gen3 aber hat Lenovo die zwei Schwachstellen - Akku und Display - behoben. Bravo!
Ein Test von Marc Sauter

Thinkpad E14 Gen3 im Test: Ryzen-Laptop mit grandiosem Preis-Leistungs-Verhältnis
Artikel
  1. Science-Fiction der Neunziger: Babylon 5 wird neu aufgelegt
    Science-Fiction der Neunziger
    Babylon 5 wird neu aufgelegt

    Die Science-Fiction-Serie Babylon 5 soll neu aufgelegt werden. Ein wichtiger Drehbuchautor des Originals ist mit dabei.

  2. Eine dritte Hand für Netzwerkadministratoren
     
    Eine dritte Hand für Netzwerkadministratoren

    Die Aufgaben von Systemadministratoren werden immer komplexer und vielfältiger. Unterstützung bietet jetzt das Wiener Start-up PATCHBOX mit dem selbst entwickelten Installations-Tool Setup.exe.
    Sponsored Post von Patchbox

  3. Software Defined Silicon: Intel will Xeon-Funktionen als Lizenz-Update verkaufen
    Software Defined Silicon
    Intel will Xeon-Funktionen als Lizenz-Update verkaufen

    Mit dem Software Defined Silicon will Intel in Xeon-Hardware zunächst abgeschaltete Funktionen künftig als Lizenz-Upgrade bereitstellen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Saturn-Aktion: Win 10-Laptop/PC kaufen, kostenloses Upgrade auf Windows 11 erhalten • Bosch Professional & PC-Spiele von EA günstiger • Alternate (u. a. Asus TUF 23,8" FHD 165Hz 179,90€) • Nur noch heute PS5-Gewinnspiel bei Amazon • 7 Tage Samsung-Angebote [Werbung]
    •  /