Abo
  • Services:

Imagenet 1K: Facebook klassifiziert eine Million Bilder in einer Stunde

Die Forschungsabteilung von Facebook zeigt, dass eines ihrer Modelle extrem gut skaliert. Das Training zum Erkennen und Klassifizieren von rund 1,2 Millionen Bildern benötigt mit 256 Nvidia-GPUs nur 1 Stunde statt 29 Stunden mit acht GPUs.

Artikel veröffentlicht am ,
Rechenzentrum von Facebook
Rechenzentrum von Facebook (Bild: Facebook)

Das Projekt Imagenet stellt nicht nur Bilder zu Forschungszwecken bereit, sondern bietet mit der Large Scale Visual Recognition Challenge (ILSVRC) auch eine Art standardisierten Wettbewerb zum Testen von Machine-Learning-Modellen. Facebook zeigt nun, dass eines seiner Modelle zum Klassifizieren von mehr als 1,2 Millionen Bildern in 1.000 Objektkategorien (Imagenet-1K) extrem gut skaliert.

Stellenmarkt
  1. Robert Bosch GmbH, Waiblingen
  2. CompuGroup Medical Deutschland AG, Oberessendorf

Das Team von Facebook beschreibt in einer Forschungsarbeit, die auf der Konferenz Data@Scale vorgestellt wurde, dass das Training des genutzten Modells für die beschriebene Aufgabe auf acht von Nvidias Tesla-P100-GPUs etwa 29 Stunden benötigt. Mit 256 GPUs könne dieser Wert auf nur eine Stunde gedrückt werden, was einer Effizienz beim Skalieren von rund 90 Prozent entspreche.

Dieser Wert ist deshalb überraschend gut, weil das Training beim maschinellen Lernen auf einem sehr großen Datensatz oft nicht beliebig parallelisierbar ist und damit auch nicht trivial skaliert werden kann. Doch das Team von Facebook hat dieses Problem nun zumindest etwas überwunden. So verarbeitet das Modell beim Training dank einiger Anpassungen nicht mehr 256 Bilder parallel, sondern 8.192, bei einem ungefähr gleichbleibenden Fehler. Eine Parallelisierung darüber hinaus gelang dem Team jedoch nur mit deutlich wachsenden Fehlerwerten, so dass dies nicht verwendet werden konnte.

Möglich wird die gute Parallelisierung unter anderem durch die Verwendung der Bibliothek NCCL von Nvidia, worauf der GPU-Hersteller in einem eigenen Blogpost speziell hinweist. Die Bibliothek wird unter anderem dazu genutzt, die Ergebnisse der acht GPUs auf einem Server zusammenzufassen. Für die Kommunikation über die genutzten 32 Server hinweg greift Facebook auf 50-GBit-Ethernet und seine Wedge-100-Switches zurück. Die maximal benötigte Bandbreite betrage dabei aber nur rund 15 GBit/s.



Anzeige
Blu-ray-Angebote
  1. (2 Monate Sky Ticket für nur 4,99€)
  2. 4,25€
  3. (nur für Prime-Mitglieder)

FRug 14. Jun 2017

Das Grundproblem des Artikels ist, dass er Training mit Klassifikation vermischt. Für das...

FabtasticFab 13. Jun 2017

Sie haben Recht, es ist eine Verschlechterung. Es geht hier aber darum, die...

schap23 13. Jun 2017

Praktisch alle Entwickler von Bildererkennungssoftware benutzen denselben Datensatz...


Folgen Sie uns
       


BMW i3s - Test

Er ist immer noch ein Hingucker: Der knallrote BWM i3s zieht die Blicke anderer Verkehrsteilnehmer auf sich. Doch man muss sich mit dem Hinschauen beeilen. Denn das kleine Elektroauto der Münchner ist mit 185 PS ziemlich flott in der Stadt unterwegs.

BMW i3s - Test Video aufrufen
Krankenversicherung: Der Papierkrieg geht weiter
Krankenversicherung
Der Papierkrieg geht weiter

Die Krankenversicherung der Zukunft wird digital und direkt, aber eine tiefgreifende Disruption des Gesundheitswesens à la Amazon wird in Deutschland wohl ausbleiben. Die Beharrungskräfte sind zu groß.
Eine Analyse von Daniel Fallenstein

  1. Imagen Tech KI-System Osteodetect erkennt Knochenbrüche
  2. Medizintechnik Implantat wird per Ultraschall programmiert
  3. Telemedizin Neue Patienten für die Onlinepraxis

KI in der Medizin: Keine Angst vor Dr. Future
KI in der Medizin
Keine Angst vor Dr. Future

Mit Hilfe künstlicher Intelligenz können schwer erkennbare Krankheiten früher diagnostiziert und behandelt werden, doch bei Patienten löst die Technik oft Unbehagen aus. Und das ist nicht das einzige Problem.
Ein Bericht von Tim Kröplin

  1. Medizintechnik Künstliche Intelligenz erschnüffelt Krankheiten
  2. Dota 2 128.000 CPU-Kerne schlagen fünf menschliche Helden
  3. KI-Bundesverband Deutschland soll mehr für KI-Forschung tun

Garmin Fenix 5 Plus im Test: Mit Musik ins unbekannte Land
Garmin Fenix 5 Plus im Test
Mit Musik ins unbekannte Land

Kopfhörer ins Ohr und ab zum Joggen, Rad fahren oder zum nächsten Supermarkt spazieren - ohne Smartphone: Mit der Sport-Smartwatch Fenix 5 Plus von Garmin geht das. Beim Test haben wir uns zwar im Wegfindungsmodus verlaufen, sind von den sonstigen Navigationsoptionen aber begeistert.
Ein Test von Peter Steinlechner

  1. Garmin im Hands on Alle Fenix 5 Plus bieten Musik und Offlinenavigation

    •  /