GA100: Nvidias 7-nm-Monster-GPU misst 826 mm²

Die 20-fache AI-Performance einer Tesla V100: Nvidias Ampere A100 reizt das aktuell technisch Mögliche aus.

Artikel von Marc Sauter veröffentlicht am 14. Mai 2020, 15:00 Uhr

A100 auf SXM4-Board (Bild: Nvidia)

Nvidia hat den A100 vorgestellt - hinter dieser Bezeichnung verbirgt Beschleuniger für Supercomputer. Dessen GA100-Chip misst enorme 826 mm² in einem 7-nm-Verfahren und erreicht laut Nvidia vorerst eine theoretische INT8-Geschwindigkeit von bis zu 1,248 Petaops. Zum Vergleich: Die bisherige Tesla V100 schafft mit 62 Teraops nur 1/20 davon.

Vorerst gibt es den A100-Beschleuniger einzig als SXM4-Mezzanine-Modul. Darauf befinden sich ein GA100-Chip mit Ampere-Architektur und sechs HBM2-Bausteinen. Die 826 mm² der GPU sind am Limit der Fertigungsmaske (Reticle), welches bei 858 mm² liegt. Nvidia zufolge sind 108 SMs mit je 64 Rechenkernen aktiv - das macht 6.912 statt 5.120 ALUs wie bei der Tesla V100. Die 108 SMs stellen nicht den Vollausbau des GA100-Chips mit seinen 54 Milliarden Transistoren dar, physisch sind 128 SMs (8.192 ALUs) vorhanden.

Laut Nvidia sind bei der A100 nur 40 GByte HBM2 verbaut - genauer fünf 8-GByte-Stacks mit zusammen 5.120 Bit und ein Dummy; die Speicherbandbreite gibt Nvidia ergo mit rund 1,56 TByte/s an. Im Vollausbau kann der A100 allerdings sechs Speicherstapel mit 6.144 Bit und ergo 48 GByte ansprechen. Bei der Tesla V100 sind vier Stacks mit 4.096 Bit für 900 GByte/s verbaut.

• 

Präsentation zu A100 (Bild: Nvidia)

	Tesla V100 (SXM2)	Nvidia A100 (SXM4)
GPU (µArch)	GV100 (Volta), teilaktiviert	GA100 (Ampere), teilaktiviert
Node	12FFN (TSMC)	N7 (TSMC)
Transistoren	21,1 Milliarden	54,2 Milliarden
ALUs / Tensor	5.120 / 640	6.912 / 432
Speicher	32 GByte HBM2	40 GByte HBM2
Bandbreite	900 GByte/s	1.555 GByte/s
FP64	7,45 Teraflops	9,7 (19,5*) Teraflops
FP32	14,9 Teraflops	19,5 Teraflops
FP16	125 Teraflops	312 (624*) Teraflops
INT8	62 Teraops	624 (1.248*) Teraops
TDP	300 Watt	400 Watt
NV-Link	300 GByte/s	600 GByte/s
Interface	PCIe Gen3	PCIe Gen4

Nvidias Supercomputer-Beschleuniger *mit Tensor Sparsity

Zur allgemeinen Ampere-Technik sagt Nvidia, dass der L2-Cache satte 48 MByte statt 6 MByte fasst, der L1 samt Shared Memory pro SM wuchs von 128 KByte auf 196 KByte an. Neu sind die Tensor-Cores v3: Diese beherrschen als Formate neben FP16, BF16, INT8 und INT4 auch TF32. Das steht für Tensor Float 32 und ist quasi eine Mischung aus FP32 (einfache Genauigkeit) und FP16 (halbe Genauigkeit): Der 8-Bit-Exponent entspricht dem von FP32, die Mantisse ist mit 10 Bit identisch zu FP16. So beschleunigt TF32 die theoretische Leistung für Training auf 312 Teraflops; mit FP32 sind es nur 19,5 Teraflops.

Überdies beherrschen die Tensor-Cores nun auch FP64, hier liegt die rechnerische Geschwindigkeit bei besagten 19,5 Teraflops statt bei 9,7 Teraflops per Shader-ALUs. Mit INT8 per Tensor-Cores sind 1.248 Teraops für Inferencing möglich, mit INT4 gar 2.496 Teraops. Letzteres gilt allerdings nur, wenn per Sparsity das neuronale Netz ausgedünnt wird - das klappt mit BF32, TF32, FP16, INT8 und INT4. Ohne Sparsity halbiert sich die Geschwindigkeit der Tensor-Cores. Der GA100 hat weder RT-Kerne für Raytracing noch den NVENC zur Video-Decodierung/Encodierung.

Nvidia bietet die A100 als Teil des DGX A100 genannten System an: Hier sind acht Module verbaut, sie kommunizieren per NV-Link 3.0 mit 600 GByte/s über NV-Switches miteinander. Als Host-CPUs werden zwei 64-kernige Epyc 7742 (Rome) von AMD mit 1 TByte RAM verwendet, hinzu kommt 15 TByte an NVMe-SSDs mit PCIe Gen4. Im Betrieb sind 5,6 Kilowatt notwendig und der Kaufpreis liegt bei 200.000 US-Dollar. Erste Systeme wurden an das Argonne National Laboratory geliefert, es untersteht dem US-amerikanischen Energieministerium (DoE) und forscht mit dem DGX A100 an Covid-19.

Für Großkunden gibt es überdies den DGX A100 Superpod mit 140 Systemen. Vier solcher Superpods verwendet Nvidia selbst für den eigenen Saturn-V-Supercomputer. Weitere Varianten sind das HGX-A100-Rack für Hyperscale-Server und das EGX A100 als PCIe-Karte für Edge-Anwendungen.