26 Exa-FLOPS KI-Leistung: Google bringt Nvidias H100 in die Cloud
Google I/O 2023 Tausende Hochleistungsbeschleuniger und eigene Netzwerktechnik: Googles neue A3-Instanzen sind erstklassig ausgestattet.
Das Training komplexer KI-Modelle erfordert viel Rechenleistung. Die bietet Nvidias Rechen-GPU H100, allerdings zu immensen Kosten. Anstatt die mindestens 33.000 US-Dollar teuren Karten selbst zu kaufen, können Kunden sie auch bei Google mieten: Auf der Google I/O stellte das Unternehmen die für KI-Training ausgelegten A3-Instanzen vor. Sie beerben die mit Nvidias A100 ausgestatteten A2-Instanzen.
Anders als beim Vorgänger, der Nvidias HGX-A100-Plattform nutzt, baute Google hier noch eigene Optimierungen ein: Die einzelnen Server, in denen je acht mittels Nvlink 4.0 verbundene H100 stecken, sind über die selbst entwickelte Netzwerkhardware Jupiter verbunden. Die optische Verbindung erreicht einen Durchsatz von 200 Gbps und ermöglicht die direkte Kommunikation zwischen den GPUs. Die einzelnen Server sind über den ebenfalls selbst entwickelten Optical Circuit Switch (OCS) verbunden.
Die Netzwerkbandbreite soll zehnmal höher sein als beim Vorgänger, die GPUs kommunizieren untereinander über ein eigenes Netzwerk. Auch bei der sonstigen Ausstattung spart Google nicht: Die Server nutzen Prozessoren aus Intels vierter Xeon-SP-Generation(Sapphire Rapids) und sind mit 2 TByte DDR5-4.800-Speicher bestückt.
Überproportionale Leistungssteigerung
Die eigene Netzwerklösung soll Google zufolge dramatische Leistungssteigerungen ermöglichen: Kunden hätten nach Migration von A2- auf die A3-Instanzen eine 30-fach höhere Inferenzleistung erzielt. Auch übertreffe man die mit marktüblicher Netzwerkhardware mögliche Leistung, was die Cloudlösung für Kunden günstiger mache, als eigene Hardware zu betreiben.
Das Unternehmen scheint von einer großen Nachfrage auszugehen: Insgesamt erreiche das Gesamtsystem eine Rechenleistung von 26 Exa-FLOPS – mit welchem Datentyp, teilte Google allerdings nicht mit. Da von KI-Leistung die Rede ist, muss es sich um FP16 oder – wahrscheinlicher – FP8 handeln. Rechnet Google wie Nvidia bei seinem Eos-System (FP8 mit Sparsity), so stehen den A3-Instanzen rund 6.500 H100 zur Verfügung. Preise wurden nicht genannt, vorerst sind die A3-Instanzen nur als Private Preview verfügbar.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
- ohne Werbung
- mit ausgeschaltetem Javascript
- mit RSS-Volltext-Feed
in Azure.
Kommentieren