Maia 200: Microsoft stellt leistungsfähigsten DIY-KI-Beschleuniger vor
Die großen Hyperscaler liefern sich seit geraumer Zeit ein Wettrennen um die leistungsfähigste selbst entwickelte KI-Hardware. Die enormen Preise von Nvidia und große eigene Installationen machen das attraktiv, zumal reine KI-Beschleuniger verhältnismäßig einfach aufgebaut sind. Microsoft hat sich mit Maia 200(öffnet im neuen Fenster) hier vorerst an die Spitze gesetzt.
Mit 10,1 Pflops bei FP4 (4 Bit Gleitkommadatentyp) erreicht der Nachfolger von Microsofts erstem KI-Chip Maia 100 die Hälfte der Rechenleistung von Nvidias Blackwell B100. Bei FP8 liegt Maia 200 mit 5,07 Pflops teils deutlich vor AWS Trainium3 und knapp vor Alphabets vor fast einem Jahr vorgestellter TPU v7 alias Ironwood. Wie Letztere ist Maia 200 auf Inferenz ausgelegt, also das Verarbeiten trainierter Modelle.
Deutlich macht das die FP16-Leistung: Hier erreicht Microsofts KI-Chip mit 1,27 Pflops lediglich ein Viertel der FP8-Leistung. Gefertigt wird der Chip in TSMCs N3P-Prozess. Um die leistungsfähigen Recheneinheiten mit ausreichend Daten zu versorgen, ist der Chip mit sechs HBM3e-Stacks mit je 12 Dies (12-High) bestückt. Die kommen auf 216 GByte Gesamtkapazität – 12,5 Prozent mehr als die TPU v7 und 50 Prozent mehr als Trainium3. Allein beim Durchsatz liegt die TPU v7 dank acht Stacks leicht vorn.
Mit 140 Milliarden Transistoren ist Maia 200 rund ein Drittel komplexer als der Vorgänger, jeder Chip darf bis zu 750 W Leistung aufnehmen. Dass Microsoft Direktwasserkühlung nutzt, muss da kaum extra erwähnt werden.
Fokus auf kleine Datentypen
Der Aufbau des Beschleunigers(öffnet im neuen Fenster) ist nicht allzu überraschend: Es handelt sich um ein hierarchisches Design, das aus Clustern aufgebaut ist, die wiederum aus Tiles bestehen.
Beide Hierarchiestufen verfügen über SRAM, einen DMA-Automaten sowie einen Prozessor, der die anderen Funktionseinheiten koordiniert. In den Tiles sitzen die Recheneinheiten: Eine für Matrixoperationen optimierte Tensor-Einheit, welche lediglich die FP4/6/8 unterstützt, sowie eine Vektoreinheit für FP8/16/32 und BF16.
Dieser Aufbau trägt dem Trend zu kleineren Datentypen zur Abbildung von Gewichtsparametern Rechnung. Der Speicherbedarf sinkt hierdurch deutlich, bei oft geringem Genauigkeitsverlust. Typkonvertierungen erledigt dabei die Hardware selbst, was auch das Rechnen mit unterschiedlichen Datentypen ermöglicht (mixed precision). Die DMA-Einheiten sind zudem so ausgelegt, dass sie auch bei zwei- und dreidimensionalen Arrays mit kleinen Datentypen effizient arbeiten. Das Network-on-Chip (NoC) unterstützt Broadcasts, um aus dem HBM gelesene Daten an mehrere Cluster zu senden, sowie Quality-of-Service-Mechanismen, um Datenströme zu priorisieren.
30 Prozent günstiger als andere Hardware
Beim SRAM – insgesamt sind 272 MByte verbaut – handelt es sich um einen vollständig Software-verwalteten Cache. Das erlaubt es, oft benötigte Daten permanent dort abzulegen. Der zweistufige Aufbau wiederum ermöglicht das Ablegen von Zwischenergebnissen im Cluster-SRAM, bis sie von den Tiles benötigt werden. So sollen die Zugriffe auf den HBM verringert werden, der zwar mit 7 TByte/s schnell angebunden ist, aber bei weitem nicht so schnell wie der SRAM: Für den Cluster-SRAM gibt Microsoft 80 TByte/s an.
Die Trennung ist dabei weniger streng, als es zunächst den Eindruck hat: Tiles können innerhalb eines Clusters gegenseitig auf ihren SRAM zugreifen. Zur Verbesserung der Ausbeute (Yield) können defekte Tiles und SRAM-Blöcke deaktiviert werden.
Scale-up erinnert an Intels Gaudi
Wie Intels Gaudi 3 integriert auch Maia 200 Ethernet NICs direkt im Chip. Mit denen wird ein zweistufiges Scale-up-Netzwerk aufgebaut, das wiederum an Gaudi 3 erinnert. Allerdings kann Microsoft hier nach eigenen Angaben 6.144 Maia 200 vernetzen – 50 Prozent mehr als Intel. Jeder Maia 200 kommt auf eine bidirektionale Bandbreite von 2,8 TByte/s, vier sind in jedem Rack-Einschub direkt verbunden. Microsoft nutzt für die Kommunikation ein selbst entwickeltes Protokoll.
Als eines der ersten Modelle will Microsoft OpenAIs GPT 5.2 auf Maia 200 bringen. Das soll die Leistung pro Dollar bei Microsoft Foundry und 365 Copilot deutlich erhöhen. Microsoft spricht von 30 Prozent besserer Leistung pro Dollar im Vergleich zur "aktuellsten Hardware-Generation in unserer Flotte", womit mutmaßlich Nvidias Blackwell gemeint ist. Daneben sollen die neuen Beschleuniger synthetische Daten für das Training anderer KIs generieren.
Der Beschleuniger kann allerdings auch gemietet werden, das SDK umfasst neben Pytorch, Triton-Compiler und angepassten Bibliotheken auch die Möglichkeit, mittels Low-Level-Programmierung eigene Software-Anpassungen vorzunehmen.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.