Machine Learning: Google will effizientes Deep Learning in kleiner Umgebung

Für die Fortschritte beim Deep Learning braucht es oft sehr viel Rechenkraft. Forscher von Google versuchen nun, diese zu reduzieren.

Artikel veröffentlicht am ,
Google will die Forschung zu Deep Learning effizienter machen.
Google will die Forschung zu Deep Learning effizienter machen. (Bild: Charles Platiau/File Photo/Reuters)

In seinem KI-Blog geht ein Forschungsteam von Google der Frage nach, ob und inwiefern die massive Rechenkraft, die für die meisten Arbeiten zu Deep Learning notwendig ist, reduziert werden kann. Zwar sorge Deep Learning für enorme Fortschritte, "dieser Fortschritt war jedoch mit sehr hohen Rechenkosten verbunden, was den unglücklichen Nebeneffekt hat, dass sich die Kluft zwischen denen mit ausreichendem Zugang zu Rechenressourcen und denen ohne vergrößert", heißt es dazu in dem Blog-Eintrag.

Stellenmarkt
  1. Informatiker / Fullstack Java Entwickler - Webanwendung/JEE (m/w/d)
    L-Bank, Karlsruhe
  2. Data Steward für das Forschungsdatenmanagement (m/w/d)
    BAM - Bundesanstalt für Materialforschung und -prüfung, Berlin-Steglitz
Detailsuche

In der Untersuchung greift das Team dabei auf den sogenannten Rainbow-Algorithmus zurück und überprüft dessen Funktionsweise in kleinen und mittelgroßen Aufgaben. Um dessen Fähigkeiten und die anderen Algorithmen zu überprüfen, wird zum Beispiel auf die Evaluationsplattform Arcade Learning Environment (ALE) zurückgegriffen. Diese besteht aus 57 Spielen für den Atari 2600, die Agenten lernen müssen zu spielen.

Für eine aussagekräftige Untersuchung dazu seien typischerweise 34.200 GPU-Rechenstunden oder 1.425 Tage notwendig. Der Wert bezieht sich auf die Tesla-P100-GPU. Sinnvoll umsetzbar ist die Forschung also nur, wenn mit sehr vielen GPUs parallel trainiert werden kann. Das ist für kleine Teams mit wenig Ressourcen aber oft sehr schwierig.

Eingeschränktes Training bringt gleiche Ergebnisse

Das Team hat nun einzelne Optimierungen des Rainbow-Algorithmus erneut untersucht, aber nur auf einer sehr kleinen Testumgebung, die in 10 bis 20 Minuten trainiert werden kann, statt über Tage hinweg. Das Training wurde außerdem in der Min-Atar-Umgebung durchgeführt, die aus fünf verkleinerten Atari-Spielen besteht.

Golem Karrierewelt
  1. Deep-Dive Kubernetes – Production Grade Deployments: virtueller Ein-Tages-Workshop
    20.09.2022, Virtuell
  2. Jira für Anwender: virtueller Ein-Tages-Workshop
    29.09.2022, virtuell
Weitere IT-Trainings

Die auf diesen kleineren Umgebungen durchgeführten Experimente zeigen laut dem Team von Google dabei die gleichen Ergebnisse wie in der originalen Untersuchung zum Rainbow-Algorithmus, die mit deutlich mehr Rechenaufwand durchgeführt wurde.

Deep Learning illustriert: Eine anschauliche Einführung in Machine Vision, Natural Language Processing und Bilderzeugung für Programmierer und Datenanalysten

Zusammenfassend heißt es dazu: "Offensichtlich ist es viel einfacher, etwas noch einmal zu untersuchen, als es erst einmal zu entdecken. Unsere Absicht mit dieser Arbeit war es jedoch, für die Relevanz und Bedeutung empirischer Forschung mit kleinen und mittelgroßen Umgebungen zu argumentieren. Wir glauben, dass sich diese weniger rechenintensiven Umgebungen gut für eine kritischere und gründlichere Analyse der Leistung, des Verhaltens und der Feinheiten neuer Algorithmen eignen."

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Antivirensoftware
Wie das BSI Kaspersky zur Bedrohung erklärte

Interne Dokumente des BSI zeigen, wie es zu der Warnung vor Kaspersky kam - inklusive eines Gefallens für GData.
Von Moritz Tremmel

Antivirensoftware: Wie das BSI Kaspersky zur Bedrohung erklärte
Artikel
  1. Microsoft: Bug in Windows 11 und Server 2022 führt zu Datenschäden
    Microsoft
    Bug in Windows 11 und Server 2022 führt zu Datenschäden

    Fast alle Maschinen mit modernen CPUs von AMD und Intel sind von dem Fehler betroffen, wenn sie Daten verschlüsseln - etwa per Bitlocker.

  2. Intel & AMD: Neue Sicherheitslücken in Prozessoren - SGX betroffen
    Intel & AMD
    Neue Sicherheitslücken in Prozessoren - SGX betroffen

    Aktuelle CPUs von Intel und AMD haben Schwachstellen, über die fremde Daten ausgelesen werden können.
    Eine Analyse von Johannes Hiltscher

  3. Google Fonts: Abmahnungen an Webseitenbetreiber mit Google-Schriftarten
    Google Fonts
    Abmahnungen an Webseitenbetreiber mit Google-Schriftarten

    Nach einer Entscheidung des Landgerichts München erhalten Webseitenbetreiber mit eingebundenen Google Fonts vermehrt Abmahnungen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Grafikkarten zu Tiefpreisen (MSI RTX 3090 Ti 1.444€, Gigabyte RTX 3080 Ti 1.089€, Gigabyte RTX 3080 12GB 859€) • Sharkoon PC-Gehäuse -53% • Philips Hue -46% • Günstig wie nie: WD SSD 1TB m. Kühlkörper (PS5) 119,90€, MSI 29,5" 200 Hz 259€ • Der beste Gaming-PC für 2.000€[Werbung]
    •  /