Hopper H100: Nvidia-Beschleuniger schafft 4 Petaflops

Dreifache FP64-Performance und neue Formate: Der Nvidia H100 mit Hopper-Technik samt stark verbesserten Tensor-Cores ist da.

Artikel veröffentlicht am ,
Nvidia H100 als SXM5-Beschleuniger
Nvidia H100 als SXM5-Beschleuniger (Bild: Nvidia)

Nvidia hat den H100-Beschleuniger für HPC-Anwendungen und Supercomputer vorgestellt, er folgt auf den Nvidia A100 von 2020. Der H100 nutzt den GH100-Chip mit Hopper-Architektur, welche den Fokus noch stärker auf künstliche Intelligenz legt als bisher. Nvidia zufolge ist die GPU die bisher komplexeste überhaupt.

Stellenmarkt
  1. Business Intelligence (BI) / Data Analytics Specialist (m/w/d)
    Börse Stuttgart GmbH, Stuttgart
  2. Entwicklungsingenieur:in (m/w/d) - Fahrerassistenzsysteme / Autonomes Fahren
    IAV GmbH, Heimsheim
Detailsuche

Primär meint der Hersteller damit die 80 Milliarden Transistoren, welche für den GH100 aufgewendet werden. Der Chip entsteht in einem 4N genannten EUV-Prozess bei TSMC, wobei wie schon bei 7N das N für ein Nvidia-optimiertes Verfahren steht. Die GPU unterstützt PCIe Gen5 und HBM3-Stapelspeicher, weiterhin ist mit dem NV-Link 4.0 eine schnellere Anbindung an externe Beschleuniger oder die CPU möglich.

Wie aufwendig es zu sein scheint, den 814 mm² großen GH100 zu produzieren, lässt sich am Speicherausbau des Nvidia H100 erkennen: Der liegt bei 80 GByte und damit so hoch wie beim A100. Tatsächlich könnte der GH100 aber auch mit 96 GByte versehen werden, jedoch sind wohl aus Yield-Gründen nur fünf der sechs HBM3-Controller aktiv (5.120 statt 6.144 Bit), weshalb einer der Stacks nicht genutzt wird. Beim GA100 ging Nvidia genauso vor, auch sind nur 132 der 144 Shader-Cluster des GH100 aktiv.

Fokus auf Compute statt Gaming

Den H100 gibt es als SXM5- und als PCIe-Gen5-Variante, wobei erstere mit 700 Watt und letztere mit 350 Watt arbeitet. Nvidia gibt eine theoretische FP64-Geschwindigkeit von 60 Teraflops und 2 Petaflops bei FP16 an, was dem Dreifachen des A100 entspricht. Hinzu kommen 4 Petaflops bei INT8 und erstmal FP8, was sechsmal so viel ist wie FP16 beim Ampere-Vorgänger, da die Hopper-Technik die Tensor-Cores v4 aufweist.

  • Der GH100 hat 80 Mrd Transistoren per 4N-Prozess ... (Bild: Nvidia)
  • ... und kommt als H100 auf bis zu 60 Tera- [FP64] sowie 4 Petaflops [FP8]. (Bild: Nvidia)
  • Die Hopper-Architektur nutzt eine Transformer Engine ... (Bild: Nvidia)
  • ... sowie sieben vollständig geschützte Instanzen ... (Bild: Nvidia)
  • ... via Confidential Computing. (Bild: Nvidia)
  • Hinzu kommen die DPX-Instruktionen. (Bild: Nvidia)
  • DGX H100 nutzt acht Beschleuniger. (Bild: Nvidia)
  • 32 der Systeme ergeben einen DGX Pod. (Bild: Nvidia)
  • 18 davon bilden den Eos-Supercomputer. (Bild: Nvidia)
  • Auch das HGX H100 nutzt acht Beschleuniger. (Bild: Nvidia)
  • Grace plus Hopper auf einem Modul (Bild: Nvidia)
Der GH100 hat 80 Mrd Transistoren per 4N-Prozess ... (Bild: Nvidia)
Nvidia A100 (SXM)Nvidia H100 (SXM)Instinct MI250X
GPU (µArch)GA100 (Ampere)GH100 (Hopper)2x Aldebaran (CDNA2)
Node7N DUV (TSMC)4N EUV (TSMC)N6 EUV (TSMC)
Transistoren54,2 Milliarden80 Milliarden2x 29,1 Milliarden
ALUs6.912 (108 SMs)15.872 (132 SMs)14.080 (220 CUs)
Speicher80 GByte HBM2e80 GByte HBM3128 GByte HBM2e
Bandbreite2,04 TByte/s3,07 TByte/s3,28 TByte/s
FP649,7 (19,5*) Teraflops30 (60*) Teraflops47,9 (95,7***) Teraflops
FP3219,5 Teraflops60 Teraflops47,9 (95,7***) Teraflops
BF16312 (624**) Teraflops1000* (2.000**) Teraflops383 Teraops***
FP16312* (624**) Teraflops1000* (2.000**) Teraflops383 Teraops***
INT8624* (1.248**) Teraops2.000* (4.000**) Teraops383 Teraops***
TDP400 Watt700 Watt560 Watt
P2P600 GByte/s (NV Link 3.0)900 GByte/s (NV Link 4.0)800 GByte/s (8x IF Link)
PCIeGen4Gen5Gen4
FormfaktorSXM4SXM5OAM
Technische Daten von Nvidias H100 *via Tensor Cores **mit Sparsity ***via Matrix Cores
Golem Akademie
  1. Cinema 4D Grundlagen: virtueller Drei-Tage-Workshop
    04.-06.07.2022, Virtuell
  2. CEH Certified Ethical Hacker v11: virtueller Fünf-Tage-Workshop
    30.05.-03.06.2022, Virtuell
Weitere IT-Trainings

Außerdem gibt es DPX-Instruktionen für etwa Roboterwegfindung via Floyd-Warshall-Algorithmus und eine Transformer Engine, welche dynamisch zwischen FP16 und FP8 wechseln können soll. Für Spiele eignet sich der GH100 nicht: Von den bis zu 72 TPCs (Texture Processing Clusters) eignen sich nur zwei für Grafik wie Pixel-Shader, alle anderen sind rein für Compute-Berechnungen ausgelegt. Beim GA100 war das noch anders, hier waren alle TPCs respektive deren untergeordnete SMs auch für Grafik nutzbar.

Hopper-GPU plus Grace-CPU ergibt Superchip

Die beiden regulären H100-Modelle bietet Nvidia für die DGX-, DGX-Pod-, DGX-Superpod- und HGX-Systeme an. Auf dieser Basis hat Nvidia einen neuen Supercomputer namens Eos entwickelt, der 576 der DGX H100 nutzt und wie der Selene für eigene Zwecke eingesetzt wird. Überdies gibt es mit dem H100 CNC einen Beschleuniger, der eine unbekannte (ARM-)CPU mit einem GH100 auf einer PCIe-Steckkarte verbindet. All diese Varianten sollen im Q3/2022 verfügbar sein; erste Cloud-Partner sind Alibaba, AWS, Google, Microsoft, Oracle und Tencent sowie diverse System-Anbieter, konkret Atos, Boxx, Cisco, Dell, Fujitsu, Gigabyte, H3C, HPE, Inspur, Lenovo, Nettrix und Supermicro.

Für das erste Halbjahr 2023 ist dann eine Grace-Hopper-Kombination geplant, welche die ARM-basierte 72-kernige Grace-CPU mit der GH100-Hopper-GPU auf einem Modul verbindet. Hierzu setzt Nvidia auf den kohärenten NV-Link-C2C (Chip to Chip), der 900 GByte/s liefert. Durch die CPU/GPU-Verknüpfung sollen 592 GByte an Speicher zur Verfügung stehen, wobei es sich um 80 GByte HBM3 und 512 GByte an LPDDR5X handelt.

Benannt sind beide Chips nach Grace Hopper, einer US-amerikanischen Informatikerin. Sie hat mit dem A-0 einen der weltweit ersten Compiler entwickelt, zudem basiert die Programmiersprache COBOL stark auf ihrer Vorarbeit.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Schattenwerk 23. Mär 2022 / Themenstart

Beide Ansätze klingen für mich nach Gewinn-Maximierung ;)

Sorji62 23. Mär 2022 / Themenstart

Pff... dann ist das Teil für mich gestorben!

platoxG 23. Mär 2022 / Themenstart

"Allein die GPU ballert 700W weg" ... spielt alles keine Rolle, da Hopper deutlich...

platoxG 23. Mär 2022 / Themenstart

Ich glaube eher dein Informationsstand ist "totaler Käse". ;-) Ergänzend gilt...

Kommentieren



Aktuell auf der Startseite von Golem.de
Cariad
Aufsichtsrat greift bei VWs Softwareentwicklung durch

Die Sorge um die Volkswagen-Softwarefirma Cariad hat den Aufsichtsrat veranlasst, ein überarbeitetes Konzept für die ehrgeizigen Pläne vorzulegen.

Cariad: Aufsichtsrat greift bei VWs Softwareentwicklung durch
Artikel
  1. Delfast Top 3.0: Ukrainische Armee setzt E-Motorräder zur Panzerjagd ein
    Delfast Top 3.0
    Ukrainische Armee setzt E-Motorräder zur Panzerjagd ein

    Ukrainische Infanteristen nutzen E-Motorräder, um leise und schnell zum Einsatz zu gelangen und die Panzerabwehrlenkwaffe NLAW zu transportieren.

  2. Überwachung: Polizei setzt Handy-Erkennungskamera gegen Autofahrer ein
    Überwachung
    Polizei setzt Handy-Erkennungskamera gegen Autofahrer ein

    In Rheinland-Pfalz werden Handynutzer am Steuer eines Autos automatisch erkannt. Dazu wird das System Monocam aus den Niederlanden genutzt.

  3. Love, Death + Robots 3: Mal spannend, mal tragisch, mal gelungen, mal nicht so
    Love, Death + Robots 3
    Mal spannend, mal tragisch, mal gelungen, mal nicht so

    Die abwechslungsreichste Science-Fiction-Serie unserer Zeit ist wieder da - mit acht neuen Folgen der von David Fincher produzierten Anthologie-Reihe.
    Von Peter Osteried

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Borderlands 3 gratis • CW: Top-Rabatte auf PC-Komponenten • Inno3D RTX 3070 günstig wie nie: 614€ • Ryzen 9 5900X 398€ • Top-Laptops zu Tiefpreisen • Edifier Lautsprecher 129€ • Kingston SSD 2TB günstig wie nie: 129,90€ • Samsung Soundbar + Subwoofer günstig wie nie: 228,52€ [Werbung]
    •  /