• IT-Karriere:
  • Services:

Imagenet 1K: Facebook klassifiziert eine Million Bilder in einer Stunde

Die Forschungsabteilung von Facebook zeigt, dass eines ihrer Modelle extrem gut skaliert. Das Training zum Erkennen und Klassifizieren von rund 1,2 Millionen Bildern benötigt mit 256 Nvidia-GPUs nur 1 Stunde statt 29 Stunden mit acht GPUs.

Artikel veröffentlicht am ,
Rechenzentrum von Facebook
Rechenzentrum von Facebook (Bild: Facebook)

Das Projekt Imagenet stellt nicht nur Bilder zu Forschungszwecken bereit, sondern bietet mit der Large Scale Visual Recognition Challenge (ILSVRC) auch eine Art standardisierten Wettbewerb zum Testen von Machine-Learning-Modellen. Facebook zeigt nun, dass eines seiner Modelle zum Klassifizieren von mehr als 1,2 Millionen Bildern in 1.000 Objektkategorien (Imagenet-1K) extrem gut skaliert.

Stellenmarkt
  1. operational services GmbH & Co. KG, verschieden Standorte
  2. Technische Universität Kaiserslautern, Kaiserslautern

Das Team von Facebook beschreibt in einer Forschungsarbeit, die auf der Konferenz Data@Scale vorgestellt wurde, dass das Training des genutzten Modells für die beschriebene Aufgabe auf acht von Nvidias Tesla-P100-GPUs etwa 29 Stunden benötigt. Mit 256 GPUs könne dieser Wert auf nur eine Stunde gedrückt werden, was einer Effizienz beim Skalieren von rund 90 Prozent entspreche.

Dieser Wert ist deshalb überraschend gut, weil das Training beim maschinellen Lernen auf einem sehr großen Datensatz oft nicht beliebig parallelisierbar ist und damit auch nicht trivial skaliert werden kann. Doch das Team von Facebook hat dieses Problem nun zumindest etwas überwunden. So verarbeitet das Modell beim Training dank einiger Anpassungen nicht mehr 256 Bilder parallel, sondern 8.192, bei einem ungefähr gleichbleibenden Fehler. Eine Parallelisierung darüber hinaus gelang dem Team jedoch nur mit deutlich wachsenden Fehlerwerten, so dass dies nicht verwendet werden konnte.

Möglich wird die gute Parallelisierung unter anderem durch die Verwendung der Bibliothek NCCL von Nvidia, worauf der GPU-Hersteller in einem eigenen Blogpost speziell hinweist. Die Bibliothek wird unter anderem dazu genutzt, die Ergebnisse der acht GPUs auf einem Server zusammenzufassen. Für die Kommunikation über die genutzten 32 Server hinweg greift Facebook auf 50-GBit-Ethernet und seine Wedge-100-Switches zurück. Die maximal benötigte Bandbreite betrage dabei aber nur rund 15 GBit/s.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. (-66%) 16,99€
  2. (-74%) 15,50€
  3. (-70%) 5,99€
  4. 52,99€

FRug 14. Jun 2017

Das Grundproblem des Artikels ist, dass er Training mit Klassifikation vermischt. Für das...

FabtasticFab 13. Jun 2017

Sie haben Recht, es ist eine Verschlechterung. Es geht hier aber darum, die...

schap23 13. Jun 2017

Praktisch alle Entwickler von Bildererkennungssoftware benutzen denselben Datensatz...


Folgen Sie uns
       


Nubia Z20 - Test

Das Nubia Z20 hat sowohl auf der Vorderseite als auch auf der Rückseite einen Bildschirm. Dadurch ergeben sich neue Möglichkeiten der Benutzung, wie sich Golem.de im Test angeschaut hat.

Nubia Z20 - Test Video aufrufen
Echo Dot mit Uhr und Nest Mini im Test: Amazon hängt Google ab
Echo Dot mit Uhr und Nest Mini im Test
Amazon hängt Google ab

Amazon und Google haben ihre kompakten smarten Lautsprecher überarbeitet. Wir haben den Nest Mini mit dem neuen Echo Dot mit Uhr verglichen. Google hat es sichtlich schwer, konkurrenzfähig zu Amazon zu bleiben.
Ein Test von Ingo Pakalski

  1. Digitale Assistenten Amazon verkauft dreimal mehr smarte Lautsprecher als Google
  2. Googles Hardware-Chef Osterloh weist Besuch auf smarte Lautsprecher hin
  3. Telekom Smart Speaker im Test Der smarte Lautsprecher, der mit zwei Zungen spricht

Netzwerke: Warum 5G nicht das bessere Wi-Fi ist
Netzwerke
Warum 5G nicht das bessere Wi-Fi ist

5G ist mit großen Marketing-Versprechungen verbunden. Doch tatsächlich wird hier mit immensem technischem und finanziellem Aufwand überwiegend das umgesetzt, was Wi-Fi bereits kann - ohne dessen Probleme zu lösen.
Eine Analyse von Elektra Wagenrad

  1. Rechenzentren 5G lässt Energiebedarf stark ansteigen
  2. Hamburg Telekom startet 5G in weiterer Großstadt
  3. Campusnetze Bisher nur sechs Anträge auf firmeneigenes 5G-Netz

Staupilot: Der Zulassungsstau löst sich langsam auf
Staupilot
Der Zulassungsstau löst sich langsam auf

Nach jahrelangen Verhandlungen soll es demnächst internationale Zulassungskriterien für hochautomatisierte Autos geben. Bei höheren Automatisierungsgraden strebt die Bundesregierung aber einen nationalen Alleingang an.
Ein Bericht von Friedhelm Greis

  1. San José Bosch und Daimler starten autonomen Taxidienst
  2. Autonomes Fahren Ermittler geben Testfahrerin Hauptschuld an Uber-Unfall
  3. Ermittlungsberichte Wie die Uber-Software den tödlichen Unfall begünstigte

    •  /