COPA-GPU: Nvidia-Beschleuniger kombiniert AI- und HPC-Chiplets

Eventuell ein Ausblick auf das Hopper-Design für Supercomputer: Nvidia zeigt, wie sich zwei Ansätze auf einem Package vereinen lassen.

Artikel veröffentlicht am ,
Ein Nvidia-Beschleuniger als PCIe-Karte
Ein Nvidia-Beschleuniger als PCIe-Karte (Bild: Nvidia)

Nvidia hat eine Forschungsarbeit veröffentlicht, die sich um die sogenannte Composable On-Package Architecture für GPUs dreht: Damit wird ein Ansatz umschrieben, bei dem statt eines monolitischen Grafikchips mehrere zum Einsatz kommen, wobei jeder auf bestimmte Berechnungen spezialisiert ist und bessere Resultate erreichen soll.

Stellenmarkt
  1. Frontend Developer (React/Vue / Angular) (m/w/d)
    xapling GmbH, deutschlandweit, remote
  2. Software Developer (m/w/d) Cloud
    EPLAN GmbH & Co. KG, Stuttgart
Detailsuche

Heutige Modelle wie der GA100 für etwa die A100-Beschleuniger vereinen diverse Funktionsblöcke wie maschinelles Lernen und das Rechnen mit doppelter Genauigkeit, was einen Balanceakt für die vorhandenen Ressourcen darstellt. Mit einem MCM-Design lassen sich diese aufteilen und optimieren, wie Nvidias Paper aufzeigt.

Die Composable On Package (COPA) genannte GPU-Idee integriert einen DL- und einen HPC-Komplex auf einem Träger, beide mit ihrem eigenen Speicher. Für Deep Learning liegt der Fokus auf INT4/INT8 und FP16, bei High Performance Computing auf FP64 mit großen sowie schnellen Caches für eine möglichst hohe Datenlokalität.

Schneller und günstiger, aber aufwendiges Packaging

Laut Nvidia soll so die Performance beim Training von neuronalen Netzen um 31 Prozent und beim Inferencing, also dem Anwenden dieser Netze, um 34 Prozent verglichen zu herkömmlichen Lösungen steigen. Als beste Variante sieht der Hersteller eine COPA-GPU an, die mit satten 960 MByte an L3-Cache (per eigenem Chip) ausgestattet ist und externen HBM-Stapelspeicher mit 4,5 TByte/s nutzt. Noch mehr L3 und die Bandbreiten skalieren kaum.

  • Links eine bisherige monolitische GPU, rechts ein Chiplet-Aufbau (Bild: Nvidia)
  • Diverse Package-Varianten eines COPA-Designs (Bild: Nvidia)
  • DL- und HPC-Modelle im Überblick (Bild: Nvidia)
Links eine bisherige monolitische GPU, rechts ein Chiplet-Aufbau (Bild: Nvidia)
Golem Akademie
  1. Entwicklung mit Unity auf der Microsoft HoloLens 2 Plattform: virtueller Zwei-Tage-Workshop
    7.–8. Februar 2022, Virtuell
  2. Einführung in die Programmierung mit Rust: virtueller Fünf-Halbtage-Workshop
    21.–25. März 2022, Virtuell
Weitere IT-Trainings

Der Vorteil einer Chiplet-Lösung liegt darin, dass zwar der Package-Aufwand steigt, die Kosten für kleine Dies aber geringer sind als für monströse monolitische Chips. Nvidias GA100 liegt mit 826 mm² nur wenig unter dem Limit der Fertigungsmaske (Reticle) von 858 mm², was die Ausbeute (Yield) reduziert. Für das auf die Ampere-Generation folgende Hopper-Design wird daher ein Chiplet-Aufbau erwartet, die Vorstellung könnte auf der GTC 2022 im März erfolgen.

AMD hat mit der Instinct MI250X bereits einen Chiplet-Beschleuniger im Portfolio, die beiden Aldebaran-Dies sind allerdings identisch aufgebaut. Die aufaddierte FP64-Rechenleistung von rund 96 Teraflops bei 3,28 TByte/s Bandbreite ist dennoch enorm, wenngleich die zwei Chips untereinander nur mit 400 GByte/s per Infinity Fabric kommunizieren können.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Klage
Paypal friert Konten ein und behält Geld nach 180 Tagen

In einer Sammelklage wird Paypal vorgeworfen, Konten ohne Nennung von Gründen einzufrieren und das Geld nach 180 Tagen zu behalten.

Klage: Paypal friert Konten ein und behält Geld nach 180 Tagen
Artikel
  1. Krypto-Verbot: Panikverkäufe von Krypto-Mininggerät im Kosovo
    Krypto-Verbot
    Panikverkäufe von Krypto-Mininggerät im Kosovo

    Schürfen von Kryptowährungen ist im Kosovo seit kurzem verboten. Mineure versuchen, ihr Equipment oft zu Schleuderpreisen loszuwerden.

  2. Malware: Microsoft warnt vor ungewöhnlicher Schadsoftware in Ukraine
    Malware
    Microsoft warnt vor ungewöhnlicher Schadsoftware in Ukraine

    Die Schadsoftware soll sich als Ransomware tarnen.

  3. Großunternehmen: Lindner will Mindeststeuer zum 1. Januar 2023 umsetzen
    Großunternehmen
    Lindner will Mindeststeuer zum 1. Januar 2023 umsetzen

    Bundesfinanzminister Christian Lindner will die Mindeststeuer für Großunternehmen in Deutschland schnell einführen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • MindStar (u.a. WD Blue 3D 1TB 79€, be quiet! Straight Power 11 850W 119€ u. PowerColor RX 6600 Hellhound 529€) • Alternate: Weekend-Deals • HyperX Cloud II Wireless 107,19€ • Cooler Master MH752 54,90€ • Gainward RTX 3080 12GB 1.599€ • Saturn-Hits • 3 für 2: Marvel & Star Wars [Werbung]
    •  /