Machine-Learning: ARM, Intel und Nvidia standardisieren 8-Bit-Gleitkommazahl

Gleitkommazahlen sind bisher für 16-Bit, 32-Bit und größer standardisiert. Für Deep-Learning sollen kleinere Zahlen helfen.

Artikel veröffentlicht am ,
Nvidias Hopper nutzt bereits die FP8-Formate.
Nvidias Hopper nutzt bereits die FP8-Formate. (Bild: Nvidia)

In einer branchenübergreifenden Kooperation haben die Hardware-Hersteller ARM, Intel und Nvidia ein neues Format für Gleitkommazahlen vorgestellt, die nur noch eine Genauigkeit von 8 Bit (FP8) aufweisen sollen. Bisher offiziell von der IEEE standardisiert sind Gleitkommazahlen mit 16 Bit (halbe Genauigkeit), 32 Bit (einfache Genauigkeit), 64 Bit (doppelte Genauigkeit) und größere.

Stellenmarkt
  1. Solution Manager HPC (m/f / diverse)
    Continental AG, Wetzlar
  2. Senior Problemmanager Automotive - Infotainment / Connectivity (m/w/d)
    Bertrandt Ingenieurbüro GmbH München, München
Detailsuche

Als Begründung für das neue Austauschformat schreibt Nvidia in der Ankündigung, dass die Verringerung der Genauigkeit schon jetzt genutzt werde. Weiter heißt es: "Transformer-Netzwerke, eine der wichtigsten Innovationen in der KI, profitieren besonders von einer 8-Bit-Gleitkommagenauigkeit. Wir glauben, dass ein gemeinsames Austauschformat schnelle Fortschritte und die Interoperabilität von Hardware- und Softwareplattformen ermöglichen wird, um die Datenverarbeitung voranzutreiben."

Der als wissenschaftliche Ausarbeitung formulierte Vorschlag des Standards umfasst zwei grundlegende Kodierungen der neuen 8-Bit-Gleitkommazahlen: E4M3 (4 Bit Exponent and 3 Bit Mantisse) sowie E5M2 (5 Bit Exponent and 2 Bit Mantisse). Hinzu kommt wie bei den IEEE-Standards ein Vorzeichen-Bit sowie festgelegte Kodierungen für Unendlich, NaN, Null, sowie den Bereich von normalisierten und subnormalen Zahlen.

Schneller bei vergleichbaren Ergebnissen

Das neue 8-Bit-Format soll deutlich schneller sein und sich über Hardware deutlich besser beschleunigen lassen als die bisher im Machine-Learning häufig genutzten 16-Bit-Formate. Dabei sollen aber sowohl im Training als auch im Inferencing, also dem Anwenden eines trainierten Modells, mit dem neuen Format ähnliche Ergebnisse erzielt werden können. Nvidia hat das Format bereits in der Hopper-Architektur umgesetzt, was in dem MLPerf-Benchmark zu einer Beschleunigung um das 4,5-Fache im Vergleich zum Vorgänger führen soll.

Golem Karrierewelt
  1. Hands-on C# Programmierung: virtueller Zwei-Tage-Workshop
    08./09.11.2022, virtuell
  2. IPv6 Grundlagen: virtueller Zwei-Tage-Workshop
    04./05.10.2022, virtuell
Weitere IT-Trainings

Die nun veröffentlichen Spezifikation ist explizit offen zugänglich und ohne Lizenzkosten oder überhaupt Lizenzbedingungen implementierbar. Die Partner hoffen, dass dies zu einem breiten Einsatz führt. Darüber hinaus soll das neue 8-Bit-Format auch über die IEEE standardisiert werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


S77S77 15. Sep 2022 / Themenstart

Genau, das bringt eine geringere benötigte Bandbreite und somit eine Beschleunigung der...

nubar 15. Sep 2022 / Themenstart

In KI's werden die Zahlen von verbundenen Neuronen durch Skalierung entsprechend...

Termuellinator 15. Sep 2022 / Themenstart

Nvidia setzt sich fuer eine Standardisierung ein, statt proprietaeren Mist zu pushen? Ist...

JouMxyzptlk 15. Sep 2022 / Themenstart

Hatte ja schon beim vorigen Artikel zu der Karte nach diesem Detail gefragt :D.

Kommentieren



Aktuell auf der Startseite von Golem.de
E-Mail-Hosting
"Wir haben laufend Probleme mit GMX und Web.de"

Probleme, wie sie die Bahn jüngst mit GMX und Web.de hatte, kennt der Mailprovider Tinc schon lang. Antworten bleibe GMX schuldig, sagt uns der CEO.
Ein Interview von Moritz Tremmel

E-Mail-Hosting: Wir haben laufend Probleme mit GMX und Web.de
Artikel
  1. Europaparlament: Europäische Seekabel sollen militärisch geschützt werden
    Europaparlament
    Europäische Seekabel sollen militärisch geschützt werden

    Eine Studie für das Europaparlament fordert einen besseren militärischen Schutz von Glasfaser-Seekabeln. Es gebe eine größere Anzahl "sehr verwundbarer" Stellen.

  2. Copilot, Java, RISC-V, Javascript, Tor: KI macht produktiver und Rust gewinnt wichtige Unterstützer
    Copilot, Java, RISC-V, Javascript, Tor
    KI macht produktiver und Rust gewinnt wichtige Unterstützer

    Dev-Update Die Diskussion um die kommerzielle Verwertbarkeit von Open Source erreicht Akka und Apache Flink, OpenAI macht Spracherkennung, Facebook hilft Javascript-Enwicklern und Rust wird immer siegreicher.
    Von Sebastian Grüner

  3. Ello LC1: Bastler baut 8-Bit-Computer in Kreditkartengröße
    Ello LC1
    Bastler baut 8-Bit-Computer in Kreditkartengröße

    Der Ello LC1 ist dank cleverer Konstruktion nur unwesentlich dicker als eine Platine und bietet einen Basic-Interpreter sowie ein LC-Display.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • LG OLED TV 2022 65" 120 Hz 1.799€ • ASRock Mainboard f. Ryzen 7000 319€ • MindStar (G.Skill DDR5-6000 32GB 299€, Mega Fastro SSD 2TB 135€) • Alternate (G.Skill DDR5-6000 32GB 219,90€) • Xbox Series S + FIFA 23 259€ • PCGH-Ratgeber-PC 3000€ Radeon Edition 2.500€ [Werbung]
    •  /