Abo
  • IT-Karriere:

Imagenet 1K: Facebook klassifiziert eine Million Bilder in einer Stunde

Die Forschungsabteilung von Facebook zeigt, dass eines ihrer Modelle extrem gut skaliert. Das Training zum Erkennen und Klassifizieren von rund 1,2 Millionen Bildern benötigt mit 256 Nvidia-GPUs nur 1 Stunde statt 29 Stunden mit acht GPUs.

Artikel veröffentlicht am ,
Rechenzentrum von Facebook
Rechenzentrum von Facebook (Bild: Facebook)

Das Projekt Imagenet stellt nicht nur Bilder zu Forschungszwecken bereit, sondern bietet mit der Large Scale Visual Recognition Challenge (ILSVRC) auch eine Art standardisierten Wettbewerb zum Testen von Machine-Learning-Modellen. Facebook zeigt nun, dass eines seiner Modelle zum Klassifizieren von mehr als 1,2 Millionen Bildern in 1.000 Objektkategorien (Imagenet-1K) extrem gut skaliert.

Stellenmarkt
  1. BWI GmbH, Meckenheim
  2. IGEL Technology GmbH, Augsburg

Das Team von Facebook beschreibt in einer Forschungsarbeit, die auf der Konferenz Data@Scale vorgestellt wurde, dass das Training des genutzten Modells für die beschriebene Aufgabe auf acht von Nvidias Tesla-P100-GPUs etwa 29 Stunden benötigt. Mit 256 GPUs könne dieser Wert auf nur eine Stunde gedrückt werden, was einer Effizienz beim Skalieren von rund 90 Prozent entspreche.

Dieser Wert ist deshalb überraschend gut, weil das Training beim maschinellen Lernen auf einem sehr großen Datensatz oft nicht beliebig parallelisierbar ist und damit auch nicht trivial skaliert werden kann. Doch das Team von Facebook hat dieses Problem nun zumindest etwas überwunden. So verarbeitet das Modell beim Training dank einiger Anpassungen nicht mehr 256 Bilder parallel, sondern 8.192, bei einem ungefähr gleichbleibenden Fehler. Eine Parallelisierung darüber hinaus gelang dem Team jedoch nur mit deutlich wachsenden Fehlerwerten, so dass dies nicht verwendet werden konnte.

Möglich wird die gute Parallelisierung unter anderem durch die Verwendung der Bibliothek NCCL von Nvidia, worauf der GPU-Hersteller in einem eigenen Blogpost speziell hinweist. Die Bibliothek wird unter anderem dazu genutzt, die Ergebnisse der acht GPUs auf einem Server zusammenzufassen. Für die Kommunikation über die genutzten 32 Server hinweg greift Facebook auf 50-GBit-Ethernet und seine Wedge-100-Switches zurück. Die maximal benötigte Bandbreite betrage dabei aber nur rund 15 GBit/s.



Anzeige
Hardware-Angebote
  1. 344,00€
  2. (reduzierte Überstände, Restposten & Co.)
  3. mit Gutschein: NBBGRATISH10

FRug 14. Jun 2017

Das Grundproblem des Artikels ist, dass er Training mit Klassifikation vermischt. Für das...

FabtasticFab 13. Jun 2017

Sie haben Recht, es ist eine Verschlechterung. Es geht hier aber darum, die...

schap23 13. Jun 2017

Praktisch alle Entwickler von Bildererkennungssoftware benutzen denselben Datensatz...


Folgen Sie uns
       


Raspberry Pi 4B - Test

Der Raspberry Pi kann endlich zur Konkurrenz aufschließen, aber richtig glücklich werden wir mit dem neuem Pi-Modell trotz bemerkenswerter Merkmale nicht.

Raspberry Pi 4B - Test Video aufrufen
Elektromobilität: Die Rohstoffe reichen, aber ...
Elektromobilität
Die Rohstoffe reichen, aber ...

Brennstoffzellenautos und Elektroautos sollen künftig die Autos mit Verbrennungsantrieb ersetzen und so den Straßenverkehr umweltfreundlicher machen. Dafür sind andere Rohstoffe nötig. Kritiker mahnen, dass es nicht genug davon gebe. Die Verfügbarkeit ist aber nur ein Aspekt.
Eine Analyse von Werner Pluta

  1. Himo C16 Xiaomi bringt E-Mofa mit zwei Sitzplätzen für rund 330 Euro
  2. ADAC-Test Hohe Zusatzkosten bei teuren Wallboxen möglich
  3. Elektroroller E-Scooter sollen in Berlin nicht mehr auf Gehwegen parken

Schienenverkehr: Die Bahn hat wieder eine Vision
Schienenverkehr
Die Bahn hat wieder eine Vision

Alle halbe Stunde von einer Stadt in die andere, keine langen Umsteigezeiten zur Regionalbahn mehr: Das verspricht der Deutschlandtakt der Deutschen Bahn. Zu schön, um wahr zu werden?
Eine Analyse von Caspar Schwietering

  1. DB Navigator Deutsche Bahn lädt iOS-Nutzer in Betaphase ein
  2. One Fiber EWE will Bahn mit bundesweitem Glasfasernetz ausstatten
  3. VVS S-Bahn-Netz der Region Stuttgart bietet vollständig WLAN

Zephyrus G GA502 im Test: Das Gaming-Notebook, das auch zum Arbeiten taugt
Zephyrus G GA502 im Test
Das Gaming-Notebook, das auch zum Arbeiten taugt

Mit AMDs Ryzen 7 und Nvidia-GPU ist das Zephyrus G GA502 ein klares Gaming-Gerät. Überraschenderweise eignet es sich aber auch als mobiles Office-Notebook. Das liegt an der beeindruckenden Akkulaufzeit.
Ein Test von Oliver Nickel

  1. Vivobook (X403) Asus packt 72-Wh-Akku in günstigen 14-Zöller
  2. ROG Swift PG35VQ Asus' 35-Zoll-Display nutzt 200 Hz, HDR und G-Sync
  3. ROG Gaming Phone II Asus plant neue Version seines Gaming-Smartphones

    •  /