TDN72 statt NVL72: Tensordynes Napier greift Nvidia mit Logarithmen an
Inhalt
Alternative, effizientere Ansätze für KI-Inferenz gibt es einige. Einer davon soll bald Nvidia ernsthaft Konkurrenz machen: Das Startup Tensordyne hat bekanntgegeben, dass das Tape-out seines Napier-Chips in TSMCs N3P-Prozess erfolgt ist(öffnet im neuen Fenster). Der soll dank logarithmischer Mathematik wesentlich effizienter rechnen als andere Chips.
Zahlen in logarithmischer Form zu speichern hat einen enormen Vorteil: Das Produkt zweier Zahlen kann als die Summe ihrer Logarithmen(öffnet im neuen Fenster) ausgedrückt werden, und Addierer erfordern wesentlich weniger Logikgatter und damit Chipfläche und Energie als Multiplizierer. Das Ergebnis ist zwar der Logarithmus des Produkts, bei vielen Multiplikationen kann sich die Konvertierung aber lohnen. Da klassische KI-Modelle im Kern aus großen Matrixmultiplikationen bestehen, verspricht dieser Ansatz hier viel Potenzial.
Da die Recheneinheiten kompakter sind, kann der Napier-Chip mehr davon sowie viel SRAM implementieren. Benannt ist der Chip übrigens nach dem schottischen Mathematiker John Napier(öffnet im neuen Fenster). Der hatte Logarithmen als einer der Ersten zur Vereinfachung von Berechnungen genutzt.
Ein Chip für alles
Zudem sind die Recheneinheiten im Napier-Chip als systolisches Array organisiert. Ergebnisse werden dabei direkt im Chip an die nächste Einheit weitergeleitet, anstatt sie über einen Speicher auszutauschen. Das Konzept nutzen einige KI-Chips, das wohl prominenteste Beispiel ist Cerebras Wafer Scale Engine.
Die Napier-Chips sollen aber nicht nur Berechnungen, sondern auch Rechenzentren vereinfachen. Anders als Nvidia bei der Rubin-Generation unterscheidet Tensordyne nicht zwischen Prefill und Decode. Während Nvidia die rechenintensive Prefill-Phase auf GPUs und die Decode-Phase mit hohen Anforderungen an die Speicherbandbreite auf LPUs abbildet, soll Napier beides erledigen.
Schon der Name des Rack-Scale-Systems ist eine Kampfansage
Tensordyne positioniert Napier dabei sehr eindeutig gegen Nvidia. Das zeigt sich wohl wenig deutlicher als beim Namen des Rack-Scale-Systems – es heißt TDN72, Nvidias Systeme NVL72. Nicht nur den Namen übernimmt Tensordyne, das Startup will auch Nvidias eigenes Microscalingformat NVFP4 unterstützten – neben gängigen 8- und 16-Bit-Datentypen.
Dabei packt Tensordyne allerdings wesentlich dichter als der Branchenführer: 72 Chips bringt das Start-up bereits in einem Pod unter, von dem wiederum vier in ein reguläres 19-Zoll-Rack passen. Das ist trotz bis zu 120 kW Leistungsaufnahme komplett luftgekühlt, was die einfache Integration in bestehende Rechenzentren ermöglichen soll.
Im Pod sitzen acht Trays mit jeweils neun Napier-Chips sowie einem Xeon als Host-CPU für die Verwaltung. Zusätzlich sind 8 TByte NVMe-Speicher verbaut, die Leistungsaufnahme jedes Napier-Chips liegt bei 300 W. Verbunden werden die Napier-Chips über ein eigenes Scale-up-Netzwerk. Die Netzwerk-Hardware soll direkt in den Chips integriert sein, Tensordyne verspricht eine nahezu lineare Skalierung der Leistung. Innerhalb eines Pods sind die Chips mit einer Bandbreite von 1 TByte/s verbunden.
Das System soll sowohl Nvidia als auch Cerebras deutlich schlagen.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.