Instinct MI100: AMDs erster CDNA-Beschleuniger ist extrem schnell

Teils flotter als Nvidias A100: Mit der Instinct MI100 alias Arcturus will AMD im Supercomputer-Segment wieder vorne dabei sein.

Artikel veröffentlicht am 16. November 2020, 15:00 Uhr, Marc Sauter

Instinct MI600 als PCIe-Karte (Bild: AMD)

AMD hat die Instinct MI100 vorgestellt, eine Steckkarte für HPC (High Performance Computing) wie Supercomputer. Der Beschleuniger hat keine Display-Ausgänge, die Arcturus-GPU der Instinct MI100 verzichtet gar auf die sonst übliche 3D-Pipeline (kein Crysis!), weshalb AMD auch gleich das Radeon aus dem Namen gestrichen hat. Die Fixed-Functions für Decoding/Encoding von H.265 und H.264 sowie VP9 sind jedoch erhalten geblieben; AV1 hingegen fehlt.

Für den Arcturus-Chip der Instinct MI100 ist AMD den gleichen Weg gegangen, den Nvidia schon beschreitet, wenngleich noch radikaler: Zwar spricht AMD noch von einer GPU (Graphics Processing Unit), faktisch handelt es sich aber um ein reines Compute-Design. Statt der RDNA(2)-Technik der Radeon RX kommt mit CDNA eine Architektur zum Einsatz, die für HPC ausgelegt ist.

Der Arcturus wird im N7P-DUV-Node beim Auftragsfertiger TSMC hergestellt, zur Die-Fläche und der Anzahl der Transistoren äußerte sich AMD nicht. Die GPU weist 120 (von 128) Compute Units bei 1.502 MHz auf, was 7.680 ALUs entspricht - die Radeon RX 6900 XT etwa bringt es auf nur 80 CUs und 5.120 Shader. Das 4.096 Bit breite Interface des Arcturus-Chip bindet 32 GByte HBM2-Stapelspeicher mit einer Datentransfer-Rate von 1,23 TByte/s an. Der L2-Cache fasst 8 MByte.

• 

Präsentation zur Instinct MI100 (Bild: AMD)

Laut AMD beläuft sich die thermische Verlustleistung der PCIe-Gen4-Karte auf 300 Watt, die Kühlung erfolgt passiv - sprich: durch die Lüfter des Racks. Jede Instinct MI100 weist drei Infinity-Fabric-Links auf, womit die Beschleuniger ähnlich wie bei Nvidias NV-Link direkt miteinander kommunizieren können. Jeder IF-Link schafft 276 GByte/s, was ähnlich den 300 GByte/s von älterem NV-Link 2.0 mit PCIe Gen3 ist. Nvidias A100-Beschleuniger schaffen per NV-Link 3.0 allerdings 600 GByte/s.

Verglichen mit der bisherigen Radeon Instinct MI60 von 2018 liefert die Instinct MI100 eine drastisch höhere theoretische Rechengeschwindigkeit, bei der FP32- und FP64-Leistung wird sogar Nvidias A100 knapp geschlagen. Neu bei der CDNA-Technik des Arcturus-Chips sind die sogenannten Matrix Core Engines, welche Matrix-Multiplikationen mit Fp32/BF16/FP16 oder INT8/INT4 drastisch beschleunigen.

Die Tensor-v3-Cores des A100 sind allerdings bei manchen Operationen weiterhin schneller, auch unterstützen sie mit TF32 ein zusätzliches Format. Hinzu kommt die Tatsache, dass die Datentransfer-Rate des HBM2-Stapelspeichers mit 1,55 TByte/s flotter ausfällt und die A100 mit 40 GByte statt 32 GByte mehr Kapazität aufweisen. Für Hyperscaler-Racks bietet Nvidia die A100 überdies noch als SXM4-Mezzanine-Module mit 80 GByte und 400 Watt für eine effektiv höhere Geschwindigkeit an.

	Nvidia A100 (PCIe)	Radeon Instinct MI60	Instinct MI100
GPU (µArch)	GA100 (Ampere), teilaktiviert	Vega 20, Vollausbau	Arcturus (CDNA1), teilaktiviert
Node	7N (TSMC)	N7 (TSMC)	N7P (TSMC)
Transistoren	54,2 Milliarden	13,2 Milliarden	25,6 Milliarden
ALUs	6.912	4.096	7.680
Speicher	40 GByte HBM2	32 GByte HBM2	32 GByte HBM2
Bandbreite	1,555 TByte/s	1,024 TByte/s	1,23 TByte/s
FP64	9,7 (19,5*) Teraflops	7,4 Teraflops	11,5 Teraflops
FP32	19,5 Teraflops	14,7 Teraflops	23,1 (46,2***) Teraflops
BF16	312 (624**) Teraflops	n.v.	92,3 Teraflops***
FP16	312* (624**) Teraflops	29,5 Teraflops	184,6 Teraflops***
INT8	624* (1.248**) Teraops	58,9 Teraops	184,6 Teraflops***
INT4	1.248* (2.496**) Teraops	117,8 Teraops	184,6 Teraflops***
TDP	250 Watt	300 Watt	300 Watt
P2P-Link	600 GByte/s (NV Link 3.0)	184 GByte/s (2x IF Link)	276 GByte/s (3x IF Link)
Interface	PCIe Gen4	PCIe Gen4	PCIe Gen4

Technische Daten von AMDs Instinct MI100 *via Tensor Cores **mit Sparsity ***via Matrix Cores

Ebenfalls sehr wichtig ist der Software-Stack, wo Nvidia mit dem CUDA-Umfeld den Markt bisher weitestgehend dominiert. Allerdings hat AMD mit der eigenen Radeon-Open-Compute-Plattform mittlerweile aufgeholt: ROCm v4.0 unterstützt einen HPC-Stack, zudem Frameworks wie Gridtools und Bibliotheken wie Kokkos und Magma.

Die Supercomputer-Kunden wissen das zu schätzen, weshalb Systeme wie der El Capitan künftig mit Instinct-Beschleunigern ausgestattet sind. Mit über 2 Exaflops wird der Supercomputer extrem schnell sein, er geht jedoch erst 2023 an den Start.