Abo
  • IT-Karriere:

Imagenet 1K: Facebook klassifiziert eine Million Bilder in einer Stunde

Die Forschungsabteilung von Facebook zeigt, dass eines ihrer Modelle extrem gut skaliert. Das Training zum Erkennen und Klassifizieren von rund 1,2 Millionen Bildern benötigt mit 256 Nvidia-GPUs nur 1 Stunde statt 29 Stunden mit acht GPUs.

Artikel veröffentlicht am ,
Rechenzentrum von Facebook
Rechenzentrum von Facebook (Bild: Facebook)

Das Projekt Imagenet stellt nicht nur Bilder zu Forschungszwecken bereit, sondern bietet mit der Large Scale Visual Recognition Challenge (ILSVRC) auch eine Art standardisierten Wettbewerb zum Testen von Machine-Learning-Modellen. Facebook zeigt nun, dass eines seiner Modelle zum Klassifizieren von mehr als 1,2 Millionen Bildern in 1.000 Objektkategorien (Imagenet-1K) extrem gut skaliert.

Stellenmarkt
  1. Münchener Rückversicherungs-Gesellschaft Aktiengesellschaft in München, München
  2. Wirecard Service Technologies GmbH, Aschheim bei München

Das Team von Facebook beschreibt in einer Forschungsarbeit, die auf der Konferenz Data@Scale vorgestellt wurde, dass das Training des genutzten Modells für die beschriebene Aufgabe auf acht von Nvidias Tesla-P100-GPUs etwa 29 Stunden benötigt. Mit 256 GPUs könne dieser Wert auf nur eine Stunde gedrückt werden, was einer Effizienz beim Skalieren von rund 90 Prozent entspreche.

Dieser Wert ist deshalb überraschend gut, weil das Training beim maschinellen Lernen auf einem sehr großen Datensatz oft nicht beliebig parallelisierbar ist und damit auch nicht trivial skaliert werden kann. Doch das Team von Facebook hat dieses Problem nun zumindest etwas überwunden. So verarbeitet das Modell beim Training dank einiger Anpassungen nicht mehr 256 Bilder parallel, sondern 8.192, bei einem ungefähr gleichbleibenden Fehler. Eine Parallelisierung darüber hinaus gelang dem Team jedoch nur mit deutlich wachsenden Fehlerwerten, so dass dies nicht verwendet werden konnte.

Möglich wird die gute Parallelisierung unter anderem durch die Verwendung der Bibliothek NCCL von Nvidia, worauf der GPU-Hersteller in einem eigenen Blogpost speziell hinweist. Die Bibliothek wird unter anderem dazu genutzt, die Ergebnisse der acht GPUs auf einem Server zusammenzufassen. Für die Kommunikation über die genutzten 32 Server hinweg greift Facebook auf 50-GBit-Ethernet und seine Wedge-100-Switches zurück. Die maximal benötigte Bandbreite betrage dabei aber nur rund 15 GBit/s.



Anzeige
Hardware-Angebote
  1. (u. a. Ryzen 5-2600X für 184,90€ oder Sapphire Radeon RX 570 Pulse für 149,00€)
  2. 399€ (Wert der Spiele rund 212€)

FRug 14. Jun 2017

Das Grundproblem des Artikels ist, dass er Training mit Klassifikation vermischt. Für das...

FabtasticFab 13. Jun 2017

Sie haben Recht, es ist eine Verschlechterung. Es geht hier aber darum, die...

schap23 13. Jun 2017

Praktisch alle Entwickler von Bildererkennungssoftware benutzen denselben Datensatz...


Folgen Sie uns
       


Bionic Finwave - Bericht (Hannover Messe 2019)

Festo zeigte auf der Hannover Messe einen schwimmenden Roboter aus dem 3D-Drucker.

Bionic Finwave - Bericht (Hannover Messe 2019) Video aufrufen
Zulassung autonomer Autos: Der Mensch fährt besser als gedacht
Zulassung autonomer Autos
Der Mensch fährt besser als gedacht

Mehrere Jahre haben Wissenschaftler und Autokonzerne an Testverfahren für einen Autobahnpiloten geforscht. Die Ergebnisse sprechen für den umfangreichen Einsatz von Simulation. Und gegen den schnellen Einsatz der Technik.
Von Friedhelm Greis

  1. Mercedes-Sicherheitsstudie Wenn das Warndreieck autonom aus dem Auto fährt
  2. Einride T-Pod Autonomer Lkw fährt in Schweden Waren aus
  3. Ingolstadt Audi vernetzt Autos mit Ampeln

Bethesda: Ich habe TES Blades für 5,50 Euro durchgespielt
Bethesda
Ich habe TES Blades für 5,50 Euro durchgespielt

Rund sechs Wochen lang hatte ich täglich viele spaßige und auch einige frustrierende Erlebnisse in Tamriel: Mittlerweile habe ich den Hexenkönig in TES Blades besiegt - ohne dafür teuer bezahlen zu müssen.
Ein Bericht von Marc Sauter

  1. Bethesda TES Blades erhält mehr Story-Inhalte und besseres Balancing
  2. Bethesda TES Blades ist für alle verfügbar
  3. TES Blades im Test Tolles Tamriel trollt

Homeoffice: Wenn der Arbeitsplatz so anonym ist wie das Internet selbst
Homeoffice
Wenn der Arbeitsplatz so anonym ist wie das Internet selbst

Homeoffice verspricht Freiheit und Flexibilität für die Mitarbeiter und Effizienzsteigerung fürs Unternehmen - und die IT-Branche ist dafür bestens geeignet. Doch der reine Online-Kontakt bringt auch Probleme mit sich.
Ein Erfahrungsbericht von Marvin Engel

  1. Bundesagentur für Arbeit Informatikjobs bleiben 132 Tage unbesetzt
  2. IT-Berufe Bin ich Freiberufler oder Gewerbetreibender?
  3. Milla Bund sagt Pläne für KI-gesteuerte Weiterbildungsplattform ab

    •  /