Machine-Learning: ARM, Intel und Nvidia standardisieren 8-Bit-Gleitkommazahl

Gleitkommazahlen sind bisher für 16-Bit, 32-Bit und größer standardisiert. Für Deep-Learning sollen kleinere Zahlen helfen.

Artikel veröffentlicht am ,
Nvidias Hopper nutzt bereits die FP8-Formate.
Nvidias Hopper nutzt bereits die FP8-Formate. (Bild: Nvidia)

In einer branchenübergreifenden Kooperation haben die Hardware-Hersteller ARM, Intel und Nvidia ein neues Format für Gleitkommazahlen vorgestellt, die nur noch eine Genauigkeit von 8 Bit (FP8) aufweisen sollen. Bisher offiziell von der IEEE standardisiert sind Gleitkommazahlen mit 16 Bit (halbe Genauigkeit), 32 Bit (einfache Genauigkeit), 64 Bit (doppelte Genauigkeit) und größere.

Als Begründung für das neue Austauschformat schreibt Nvidia in der Ankündigung, dass die Verringerung der Genauigkeit schon jetzt genutzt werde. Weiter heißt es: "Transformer-Netzwerke, eine der wichtigsten Innovationen in der KI, profitieren besonders von einer 8-Bit-Gleitkommagenauigkeit. Wir glauben, dass ein gemeinsames Austauschformat schnelle Fortschritte und die Interoperabilität von Hardware- und Softwareplattformen ermöglichen wird, um die Datenverarbeitung voranzutreiben."

Der als wissenschaftliche Ausarbeitung formulierte Vorschlag des Standards umfasst zwei grundlegende Kodierungen der neuen 8-Bit-Gleitkommazahlen: E4M3 (4 Bit Exponent and 3 Bit Mantisse) sowie E5M2 (5 Bit Exponent and 2 Bit Mantisse). Hinzu kommt wie bei den IEEE-Standards ein Vorzeichen-Bit sowie festgelegte Kodierungen für Unendlich, NaN, Null, sowie den Bereich von normalisierten und subnormalen Zahlen.

Schneller bei vergleichbaren Ergebnissen

Das neue 8-Bit-Format soll deutlich schneller sein und sich über Hardware deutlich besser beschleunigen lassen als die bisher im Machine-Learning häufig genutzten 16-Bit-Formate. Dabei sollen aber sowohl im Training als auch im Inferencing, also dem Anwenden eines trainierten Modells, mit dem neuen Format ähnliche Ergebnisse erzielt werden können. Nvidia hat das Format bereits in der Hopper-Architektur umgesetzt, was in dem MLPerf-Benchmark zu einer Beschleunigung um das 4,5-Fache im Vergleich zum Vorgänger führen soll.

Die nun veröffentlichen Spezifikation ist explizit offen zugänglich und ohne Lizenzkosten oder überhaupt Lizenzbedingungen implementierbar. Die Partner hoffen, dass dies zu einem breiten Einsatz führt. Darüber hinaus soll das neue 8-Bit-Format auch über die IEEE standardisiert werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


S77S77 15. Sep 2022

Genau, das bringt eine geringere benötigte Bandbreite und somit eine Beschleunigung der...

nubar 15. Sep 2022

In KI's werden die Zahlen von verbundenen Neuronen durch Skalierung entsprechend...

Termuellinator 15. Sep 2022

Nvidia setzt sich fuer eine Standardisierung ein, statt proprietaeren Mist zu pushen? Ist...

JouMxyzptlk 15. Sep 2022

Hatte ja schon beim vorigen Artikel zu der Karte nach diesem Detail gefragt :D.



Aktuell auf der Startseite von Golem.de
25 Jahre Grim Fandango
Toller Trip durch das Reich der Toten

Morbide und lustig: Grim Fandango war kein Erfolg und gilt trotzdem als Klassiker. Golem.de hat es erneut durchgespielt - und war wieder begeistert.
Von Andreas Altenheimer

25 Jahre Grim Fandango: Toller Trip durch das Reich der Toten
Artikel
  1. Star Wars: Holiday Special jetzt in 4K mit 60 fps
    Star Wars
    Holiday Special jetzt in 4K mit 60 fps

    Eine bessere Story bekommt der legendär schlechte Film dadurch leider nicht. Bis heute lieben ihn einige Fans aber vor allem wegen seiner Absurdität.

  2. Autonomes Fahren: Im Märzen der Bauer den Roboter einspannt
    Autonomes Fahren
    Im Märzen der Bauer den Roboter einspannt

    Landmaschinen ohne Fahrer, Traktoren, die mit Gesten gesteuert werden - autonome Systeme sollen in der Landwirtschaft gleich mehrere Probleme lösen.
    Ein Bericht von Werner Pluta

  3. Lohn und Gehalt: OpenAI-Entwickler verdienen bis zu 800.000 US-Dollar im Jahr
    Lohn und Gehalt
    OpenAI-Entwickler verdienen bis zu 800.000 US-Dollar im Jahr

    Die Firma hinter Chat-GPT zahlt im Vergleich zu Unternehmen wie Nvidia besonders gut. Erfahrene Forscher und Entwickler auf dem Gebiet sind Mangelware.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    • Daily Deals • Crucial P5 Plus 2 TB mit Kühlkörper 114,99€ • Crucial Pro 32 GB DDR5-5600 79,99€ • Logitech G915 TKL LIGHTSYNC RGB 125,11€ • Anthem PC 0,99€ • Wochenendknaller bei MediaMarkt • MindStar: Patriot Viper VENOM 64 GB DDR5-6000 159€, XFX RX 7900 XT Speedster MERC 310 Black 789€ [Werbung]
    •  /