Imagenet 1K: Facebook klassifiziert eine Million Bilder in einer Stunde

Die Forschungsabteilung von Facebook zeigt, dass eines ihrer Modelle extrem gut skaliert. Das Training zum Erkennen und Klassifizieren von rund 1,2 Millionen Bildern benötigt mit 256 Nvidia-GPUs nur 1 Stunde statt 29 Stunden mit acht GPUs.

Artikel veröffentlicht am ,
Rechenzentrum von Facebook
Rechenzentrum von Facebook (Bild: Facebook)

Das Projekt Imagenet stellt nicht nur Bilder zu Forschungszwecken bereit, sondern bietet mit der Large Scale Visual Recognition Challenge (ILSVRC) auch eine Art standardisierten Wettbewerb zum Testen von Machine-Learning-Modellen. Facebook zeigt nun, dass eines seiner Modelle zum Klassifizieren von mehr als 1,2 Millionen Bildern in 1.000 Objektkategorien (Imagenet-1K) extrem gut skaliert.

Stellenmarkt
  1. Full Stack Developer (m/w/d)
    Allianz Technology SE, Stuttgart
  2. Wissenschaftliche Mitarbeiter*innen (m/w/d)
    Leibniz-Institut für Wissensmedien (IWM), Tübingen
Detailsuche

Das Team von Facebook beschreibt in einer Forschungsarbeit, die auf der Konferenz Data@Scale vorgestellt wurde, dass das Training des genutzten Modells für die beschriebene Aufgabe auf acht von Nvidias Tesla-P100-GPUs etwa 29 Stunden benötigt. Mit 256 GPUs könne dieser Wert auf nur eine Stunde gedrückt werden, was einer Effizienz beim Skalieren von rund 90 Prozent entspreche.

Dieser Wert ist deshalb überraschend gut, weil das Training beim maschinellen Lernen auf einem sehr großen Datensatz oft nicht beliebig parallelisierbar ist und damit auch nicht trivial skaliert werden kann. Doch das Team von Facebook hat dieses Problem nun zumindest etwas überwunden. So verarbeitet das Modell beim Training dank einiger Anpassungen nicht mehr 256 Bilder parallel, sondern 8.192, bei einem ungefähr gleichbleibenden Fehler. Eine Parallelisierung darüber hinaus gelang dem Team jedoch nur mit deutlich wachsenden Fehlerwerten, so dass dies nicht verwendet werden konnte.

Möglich wird die gute Parallelisierung unter anderem durch die Verwendung der Bibliothek NCCL von Nvidia, worauf der GPU-Hersteller in einem eigenen Blogpost speziell hinweist. Die Bibliothek wird unter anderem dazu genutzt, die Ergebnisse der acht GPUs auf einem Server zusammenzufassen. Für die Kommunikation über die genutzten 32 Server hinweg greift Facebook auf 50-GBit-Ethernet und seine Wedge-100-Switches zurück. Die maximal benötigte Bandbreite betrage dabei aber nur rund 15 GBit/s.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


FRug 14. Jun 2017

Das Grundproblem des Artikels ist, dass er Training mit Klassifikation vermischt. Für das...

FabtasticFab 13. Jun 2017

Sie haben Recht, es ist eine Verschlechterung. Es geht hier aber darum, die...

schap23 13. Jun 2017

Praktisch alle Entwickler von Bildererkennungssoftware benutzen denselben Datensatz...



Aktuell auf der Startseite von Golem.de
25 Jahre Mars Attacks!
"Aus irgendeinem merkwürdigen Grund fehl am Platz"

Viele Amerikaner fanden Tim Burtons Mars Attacks! nicht so witzig, aber der Rest der Welt lacht umso mehr - bis heute, der Film ist grandios gealtert.
Von Peter Osteried

25 Jahre Mars Attacks!: Aus irgendeinem merkwürdigen Grund fehl am Platz
Artikel
  1. Auch ZTE betroffen: USA verbieten Verkauf und Import von Huawei-Geräten
    Auch ZTE betroffen
    USA verbieten Verkauf und Import von Huawei-Geräten

    Neben Geräten von Huawei darf auch ZTE künftig nicht mehr auf dem US-Markt agieren, wie die FCC nun beschlossen hat.

  2. Artemis I: Orion-Kapsel ist in Mondorbit eingeschwenkt
    Artemis I
    Orion-Kapsel ist in Mondorbit eingeschwenkt

    Die Testmission für Mondlandungen der Nasa Artemis I hat den Mond erreicht. In den kommenden Tagen macht sich die Orion-Kapsel auf den Rückweg.

  3. NIS 2 und Compliance vs. Security: Kann Sicherheit einfach beschlossen werden?
    NIS 2 und Compliance vs. Security
    Kann Sicherheit einfach beschlossen werden?

    Mit der NIS-2-Richtlinie will der Gesetzgeber für IT-Sicherheit sorgen. Doch gut gemeinte Regeln kommen in der Praxis nicht immer unbedingt auch gut an.
    Von Nils Brinker

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Black Friday bei Mindfactory, MediaMarkt & Saturn • Prime-Filme leihen für je 0,99€ • WD_BLACK SN770 500GB 49,99€ • GIGABYTE Z690 AORUS ELITE 179€ • Seagate FireCuda 530 1TB 119,90€ • Crucial P3 Plus 1TB 81,99 & P2 1TB 67,99€ • Alpenföhn Wing Boost 3 ARGB 120 3er-Pack 42,89€ [Werbung]
    •  /