Hopper H100: Nvidias riesiges GH100-Package abgelichtet

Ein sehr großer 4-nm-Chip und sechs HBM3-Stapel dazu: Nvidias Hopper GH100 für Supercomputer ist fertig, es mangelt aber noch an CPUs.

Artikel veröffentlicht am ,
Nvidia H100 als SXM5-Beschleuniger
Nvidia H100 als SXM5-Beschleuniger (Bild: Serve The Home)

Nur wenige (Grafik-)Prozessoren der vergangenen Jahre belegten mehr Fläche: Der GH100 fällt mit 814 mm² so voluminös aus, dass er nahe der Grenze dessen liegt, was sich überhaupt belichten lässt. Bei einem Besuch im Nvidia-Headquarter im April 2022 konnte sich Serve The Home einen Eindruck von den Maßen des Packages, also Chip samt Stapelspeicher, machen und einige Plattforminformationen erhalten.

Stellenmarkt
  1. SAP Logistik-Berater (m/w/x)
    über duerenhoff GmbH, Raum Bielefeld
  2. Professur (W 2) für Technische Informatik
    Hochschule Furtwangen, Furtwangen
Detailsuche

Der GH100 ist Teil des H100-Beschleunigers für Supercomputer: Er wird in einem 4N (nicht N4) genannten Verfahren von TSMC produziert, es handelt sich dabei um eine für Nvidia optimierte Variante des N5-Prozesses. Der Chip nutzt die neue Hopper-Architektur für mehr Leistung bei vor allem künstlicher Intelligenz, er wird mit HBM3 (High Bandwidth Memory) für eine sehr hohe Datentransferrate kombiniert.

Auf zwei Seiten des GH100 sind je drei Stacks vorhanden, in der derzeitigen Ausbaustufe sind davon aber nur fünf aktiv - das ergibt 3,07 TByte/s und zudem 80 GByte Kapazität. Das Package samt Chip und HBM3 wird auf ein Mezzanine-Modul, ein SXM5, montiert. Bis zu acht Stück davon werden auf ein Mainboard gesetzt und zumindest bisher von zwei CPUs mit Daten versorgt; für das HGX H100 hat Nvidia aber noch keinen Typ genannt.

AMD und Intel unterstützen PCIe Gen5

Laut den Informationen von Serve The Home existieren Referenzplattformen für Intels nächste Xeon-Generation alias Sapphire Rapids SP und für AMDs kommende Epyc 7004 alias Genoa, beide beherrschen das für den H100-Beschleuniger wichtige PCIe Gen5. Welcher der beiden Partner den Zuschlag erhält, will Nvidia in den kommenden Wochen und Monaten entscheiden. Der Power10 von IBM beherrscht ebenfalls PCIe Gen5, schaffte es aber nicht in die engere Auswahl.

  • Der GH100 hat 80 Mrd Transistoren per 4N-Prozess ... (Bild: Nvidia)
  • ... und kommt als H100 auf bis zu 60 Tera- [FP64] sowie 4 Petaflops [FP8]. (Bild: Nvidia)
  • Die Hopper-Architektur nutzt eine Transformer Engine ... (Bild: Nvidia)
  • ... sowie sieben vollständig geschützte Instanzen ... (Bild: Nvidia)
  • ... via Confidential Computing. (Bild: Nvidia)
  • Hinzu kommen die DPX-Instruktionen. (Bild: Nvidia)
  • DGX H100 nutzt acht Beschleuniger. (Bild: Nvidia)
  • 32 der Systeme ergeben einen DGX Pod. (Bild: Nvidia)
  • 18 davon bilden den Eos-Supercomputer. (Bild: Nvidia)
  • Auch das HGX H100 nutzt acht Beschleuniger. (Bild: Nvidia)
  • Grace plus Hopper auf einem Modul (Bild: Nvidia)
Der GH100 hat 80 Mrd Transistoren per 4N-Prozess ... (Bild: Nvidia)
Nvidia A100 (SXM)Nvidia H100 (SXM)Instinct MI250X
GPU (µArch)GA100 (Ampere)GH100 (Hopper)2x Aldebaran (CDNA2)
Node7N DUV (TSMC)4N EUV (TSMC)N6 EUV (TSMC)
Transistoren54,2 Milliarden80 Milliarden2x 29,1 Milliarden
ALUs6.912 (108 SMs)15.872 (132 SMs)14.080 (220 CUs)
Speicher80 GByte HBM2e80 GByte HBM3128 GByte HBM2e
Bandbreite2,04 TByte/s3,07 TByte/s3,28 TByte/s
FP649,7 (19,5*) Teraflops30 (60*) Teraflops47,9 (95,7***) Teraflops
FP3219,5 Teraflops60 Teraflops47,9 (95,7***) Teraflops
BF16312 (624**) Teraflops1000* (2.000**) Teraflops383 Teraops***
FP16312* (624**) Teraflops1000* (2.000**) Teraflops383 Teraops***
INT8624* (1.248**) Teraops2.000* (4.000**) Teraops383 Teraops***
TDP400 Watt700 Watt560 Watt
P2P600 GByte/s (NV Link 3.0)900 GByte/s (NV Link 4.0)800 GByte/s (8x IF Link)
PCIeGen4Gen5Gen4
FormfaktorSXM4SXM5OAM
Technische Daten von Nvidias H100 *via Tensor Cores **mit Sparsity ***via Matrix Cores
Golem Akademie
  1. Linux-Systeme absichern und härten: virtueller Drei-Tage-Workshop
    07.-09.06.2022, Virtuell
  2. Elastic Stack Fundamentals – Elasticsearch, Logstash, Kibana, Beats: virtueller Drei-Tage-Workshop
    14.-16.06.2022, Virtuell
Weitere IT-Trainings

Um künftig nicht mehr auf externe Partner angewiesen zu sein, entwickelt Nvidia mit Grace eine eigene ARMv9-basierte CPU: Das Dual-Die-Design hat 144 Kerne und nutzt LPDDR5X-Speicher, vor allem aber gibt es mit dem NV-Link 4.0 eine Verbindung für die H100-Beschleuniger. Mit 900 GByte/s fällt diese deutlich schneller aus als die 128 GByte/s von PCIe Gen5 x16, was einer der Gründe ist, welcher für Grace spricht.

Nvidia zufolge sollen die H100-Beschleuniger und darauf basierende Systeme im dritten Quartal 2022 verfügbar sein, bis dahin dürften AMD sowie Intel ihre Server-CPUs veröffentlicht haben.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Backbone 07. Mai 2022 / Themenstart

Hallo zusammen, man darf dann wohl davon ausgehen das nVidia zuerst eine eigene...

ms (Golem.de) 06. Mai 2022 / Themenstart

LOL - prinzipiell ja, aber um mich selbst zu zitieren: "Für Spiele eignet sich der GH100...

Kommentieren



Aktuell auf der Startseite von Golem.de
Halbleiter & SMIC
Chip-Nachfrage für Smartphones und PC fällt "wie ein Stein"

Chinesische Kunden von SMIC haben volle Lager und ordern weniger Chips. Andere Halbleiter sollen den Einbruch auffangen.

Halbleiter & SMIC: Chip-Nachfrage für Smartphones und PC fällt wie ein Stein
Artikel
  1. Google: Russland will Youtube aus Selbstschutz nicht blockieren
    Google
    Russland will Youtube aus Selbstschutz nicht blockieren

    Die zahlreichen Drohungen der russischen Zensurbehörde zur Blockade von Youtube werden wohl nicht umgesetzt. Die Auswirkungen wären zu stark.

  2. Arclight Rumble: Wegen Warcraft Mobile sollte sich Blizzard selbst verklagen!
    Arclight Rumble
    Wegen Warcraft Mobile sollte sich Blizzard selbst verklagen!

    Golem.de hat es gespielt: Arclight Rumble entpuppt sich als gelungenes Mobile Game - aber wie ein echtes Warcraft fühlt es sich nicht an.
    Von Peter Steinlechner

  3. Biontech: Mainz kann 365-Euro-ÖPNV-Ticket dank Corona einführen
    Biontech
    Mainz kann 365-Euro-ÖPNV-Ticket dank Corona einführen

    In Mainz ist Biontech beheimatet, was die Steuereinnahmen explodieren lässt. Mit dem Geld wird nun ein 365-Euro-Jahresticket für Schüler und Azubis finanziert.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 jetzt bestellbar • Cyber Week: Bis zu 900€ Rabatt auf E-Bikes • MindStar (u. a. Intel Core i9 529€, MSI RTX 3060 Ti 609€) • Gigabyte Waterforce Mainboard günstig wie nie: 480,95€ • Razer Ornata V2 Gaming-Tastatur günstig wie nie: 54,99€ • AOC G3 Gaming-Monitor 34" 165 Hz günstig wie nie: 404€ [Werbung]
    •  /