Tachyum Prodigy T16128: Der Wunderkind-Prozessor
Ein Chip, der die drei- bis vierfache Geschwindigkeit eines 40-kernigen Intel Xeon oder 64-kernigen AMD Epyc erreichen und obendrein das Sechsfache von Nvidias noch nicht einmal verfügbarem H100-Hopper-Beschleuniger leisten soll? Der Prodigy (Wunderkind) ist genau dieses Design, das alle anderen schlägt, wenn man Tachyum glauben will – mehr noch: Es soll sich gar um den weltweit ersten universalen Prozessor(öffnet im neuen Fenster) handeln.
Wir haben mit Rado Danilak(öffnet im neuen Fenster) gesprochen, dem CEO von Tachyum. Wenn es um Prozessoren geht, kennt er sich aus: Danilak hat sie bei Nvidia und Toshiba entworfen und Sandforce und Skyera mitgegründet und verkauft. Mit im Team sind erfahrene Leute wie Rodney Mullendore als Chief Architect und Igor Shevlyakov als Software-VP, beratend tätig(öffnet im neuen Fenster) sind unter anderen Fred Weber (AMD64) und Steve Furber (ARM1).
Neu ist der Prodigy-Prozessor nicht, er wurde bereits auf der Hot Chips 2018 (PDF(öffnet im neuen Fenster)) vorgestellt und war mit seinen 64 Kernen sowie hohen Performance-Angaben schon damals beeindruckend. Im Laufe der Jahre verdoppelte sich vermeintlich die Anzahl der Cores und die Breite der Vectoreinheiten. "Tatsächlich haben wir vom ersten Tag an mit 128 Kernen geplant, es aber nicht vorab öffentlich kommuniziert", sagt Danilak.
128 Kerne und zwölf DDR5-Kanäle schon vor Prodigy
Das hatte mehrere nachvollziehbare Aspekte: "Einerseits wollten wir bei einer Verzögerung weiterhin vor der Konkurrenz liegen, andererseits sollte es nicht heißen: 'Ihr seid doch verrückt', zumal wir das Design auch von Beginn an für 16 DDR5-Speichercontroller ausgelegt haben", ergänzt er. Das frühzeitig mitzuteilen, hätte eventuell für Kontroversen gesorgt, etwa, was das durchaus komplexe Routing auf dem Mainboard betrifft.
| Kerne | Takt | Speicher | PCIe | TDP | Workloads | |
|---|---|---|---|---|---|---|
| Prodigy T16128-AIX | 128 | 5,7 GHz | 16x DDR5-7200 | Gen5 x64 | 950W | Highend AI/HPC |
| Prodigy T16128-AIM | 128 | 4,5 GHz | 16x DDR5-7200 | Gen5 x64 | 700W | Midrange AI/HPC |
| Prodigy T16128-AIE | 128 | 4,0 GHz | 16x DDR5-7200 | Gen5 x64 | 600W | Entry AI/HPC |
| Prodigy T16128-HT | 128 | 4,5 GHz | 16x DDR5-6400 | Gen5 x64 | 300W | Throughput |
| Prodigy T864-HS | 64 | 5,7 GHz | 8x DDR5-6400 | Gen5 x32 | 300W | Speed |
| Prodigy T864-HT | 64 | 4,5 GHz | 8x DDR5-6400 | Gen5 x32 | 300W | Efficiency |
| Prodigy T832-HS | 32 | 5,7 GHz | 8x DDR5-6400 | Gen5 x32 | 300W | Entry Level |
| Prodigy T832-LP | 32 | 3,2 GHz | 8x DDR5-4800 | Gen5 x32 | 180W | Low Power |
Praktisch sind mittlerweile 128 CPU-Kerne verfügbar, konkret bei Alibabas Yitian 710 und bei Amperes Altra Max. Zwölf DDR5-Kanäle werden in Bälde als Standard verfügbar sein, wenn AMD die Epyc 7004 (Genoa) veröffentlicht. 2023 folgen ARM-basierte Prozessoren mit mindestens 144 Kernen, die Grace-CPU von Nvidia etwa. Hier befindet sich allerdings LPDDR5X mit auf dem Package, keine DDR5-Module wie bei AMD.
Bei den Cores an sich geht Tachyum ohnehin einen Sonderweg, da weder ARM noch x86, sondern gleich eine eigene Befehlssatzarchitektur (ISA) verwendet wird. Besonders wichtig ist dem Team dabei, sehr hohe Frequenzen zu erreichen und gleichzeitig möglichst viele Daten lokal vorhalten zu können. Seit dem Pentium 4 (Netburst) mit 3,8 GHz sind die Taktraten in den vergangenen 20 Jahren bei signifikant besserer Leistung pro Zyklus (IPC) zwar auf derzeit immerhin 5,5 GHz gestiegen – aber eben nicht mehr.
Laut Danilak ist einer der Hauptgründe dafür die Verschaltung der Transistoren, also die Interconnects/Wires in den Metall-Layern unterhalb der Finfets. Durch neuere Materialien wie Low-k-Dielektrikum(öffnet im neuen Fenster) und später Kobalt wurde die Geschwindigkeit signifikant verbessert, dennoch kostet die Kommunikation zwischen den einzelnen Funktionseinheiten sehr viel mehr Zeit als die eigentlichen Berechnungen.
Mit äußerst breiten Einheiten zum Erfolg
Die Lösung war daher, eine VLIW(öffnet im neuen Fenster)-basierte ISA samt Mikroarchitektur und Compiler zu kreieren, bei der nachfolgende Instruktionen auf derselben Einheit ablaufen können, die schon für die vorherigen Resultate verantwortlich war. "Bei Workloads für Server-Applikationen oder Integer-Benchmarks wie SpecINT2017 gelingt uns das in 93 Prozent der Fälle, bei den restlichen 7 Prozent müssen wir die Daten weiterreichen", sagt Danilak.
Das klappt ihm zufolge, weil Instruktionen zu etwa 20 Prozent aus Branches und zu 10 Prozent aus Stalls(öffnet im neuen Fenster) bestehen, die ohnehin auf der jeweiligen Einheit stattfinden. Die restlichen 70 Prozent setzen sich laut Danilak zu zwei Dritteln aus Berechnungen in denselben Registern zusammen, bei denen nur eine dynamische Eingabe vorkommt – was ebenfalls in derselben Einheit durchführbar ist.
Solche Ansätze sind nicht neu, allerdings bei einem VLIW-Design wie dem Prodigy dennoch schwierig zu implementieren. Die von Tachyum entwickelte Befehlssatzarchitektur nutzt eine In-Order-Ausführung, erst der Compiler sorgt für eine Out-of-Order-Execution, wie sie nahezu alle heutigen CPU-Implementierungen verwenden.
Ein CPU-Replacement für Cloud/Hyperscaler-Kunden
Wie gut oder schlecht OoO per Compiler funktioniert, zeigte Intel mit dem in den späteren Jahren gerne als Itanic verspotteten Itanium, der nie wirklich erfolgreich war. Tachyum verweist in der initialen Präsentation von 2018 jedoch auf diese VLIW-Architektur und gibt an, ebenfalls unter der Verwendung sogenannter Poison Bits eine sehr hohe Instruktionen-Level-Parallelität (ILP(öffnet im neuen Fenster)) in den Recheneinheiten zu erreichen.
Ebenfalls eine Frage der Auslastung sind die Ressourcen, um Daten lokal pro Kern vorzuhalten: "Mit Blick auf Server-Workloads haben wir den L1-Daten- und den L1-Instruktionen-Cache von 32 KByte auf 64 KByte verdoppelt, beim L2-Puffer sind wir von 512 KByte auf 1 MByte hoch", erläutert Danilak. Beim L3-Victim-Cache hat sich Tachyum für eine dynamische Lösung entschieden, die ein wenig an die virtuelle dritte Pufferstufe von IBMs Telum (z16) erinnert: "Der L3 ist quasi der L2, inaktive Kerne geben ihre Ressourcen ab", legt der CEO offen.
Hinzu kommt, dass Tachyum äußerst breite Rechenwerke verwendet, auch weil sich der Zielmarkt für Prodigy im Laufe der Jahre etwas verschoben hat. "Wir sind ein CPU-Ersatz- und kein KI-Beschleuniger-Unternehmen, wir zielen auf Cloud/Hyperscaler sowie Telcos ab", sagt Danilak mit Blick auf das Marktumfeld, ergänzt aber später: "Über die Zeit konnten wir einige Supercomputer-Kunden gewinnen, daher haben wir die Breite der Vector/MAC-Einheiten von 512 Bit auf 1.024 Bit verdoppelt." Der eigentliche Grund aber waren die notwendigen Datenpfade für die 4.096-Bit-Matrix-Operationen für künstliche Intelligenz.
Eine weitere Änderung seit der Präsentation auf der Linley Conference 2018 (PDF(öffnet im neuen Fenster)) betrifft die Pipeline-Stufen für Integer und Vector, die erweitert sowie modifiziert wurden: "Zwischen Instruction-Fetch und Decode gibt es eine Stage mehr zugunsten höherer Taktraten, auch füttern Load/Store nicht mehr direkt die ALUs; das reduziert die Stages und die Leistungsaufnahme", sagt Danilak. Das ist wichtig für die Performance, die sehr hoch ausfällt.
Schneller als AMD, Intel und Nvidia
Laut der Webseite von Tachyum sind drei Prozessoren geplant: Der Prodigy T16128 mit 16 Speicherkanälen und 128 Kernen, der Prodigy T864 und der Prodigy T832 – beide mit halb so vielen Channels und entsprechend reduzierten Cores. Ausgehend vom T832 wirbt der Hersteller mit einer Verdopplung der Geschwindigkeit zum T864, der Sprung zum T16128 jedoch fällt mit Faktor vier immens aus – für uns war das nicht nachvollziehbar.
Danilak hat eine schlüssige Erklärung: "Die Werte inkludieren eine künstliche Drosselung des Taktes, um innerhalb der TDP zu agieren." Das Topmodell, der T16128-AIX, wird wassergekühlt und kommt bei 5,7 GHz auf satte 950 Watt. Der T864-HS und der T832-HS haben zwar nominell dieselbe Frequenz, beide müssen aber luftgekühlt mit 300 Watt auskommen. Der T16128-HS mit gleicher TDP ist da interessant, wo die doppelte Speicherbandbreite und die doppelte Menge an PCIe-Gen5-Lanes relevant sind.
Ein Blick auf Intels Ice Lake SP zeigt, dass schon AVX-512-Code so viel Energie kostet, dass die CPUs herunterschalten müssen: Der Xeon Platinum 8380 taktet bei 270 Watt mit 2,3 GHz Basis auf allen 40 Kernen, mit AVX-512 sind es nur noch 1,8 GHz. Besagter Intel-Prozessor als 2-Sockel-Plattform soll Tachyum zufolge gerade mal ein Viertel der Performance zweier T16128 im Specint-2017-Benchmark erreichen, ein 64-kerniger Epyc 7763 (Milan) und Nvidias 144-kerniger Grace beide rund ein Drittel.
Mit FP64 bis FP8 zu gigantischen Vorsprüngen
Ähnlich sieht es aus, wenn der Prodigy-Chip bei künstlicher Intelligenz gegen die Konkurrenz antritt: Bei doppelter Genauigkeit (DP aka FP64) sollen es 180 Teraflops sein, was das Sechsfache von Nvidias H100 ist und noch Faktor 3x, wenn der Hopper-Beschleuniger auf seine Tensor-Cores zurückgreifen kann. Wird mit FP8 und dünn besetzten Matrizen – also Sparsity – gerechnet, gibt Tachyum die dreifache und mit Super Sparsity die sechsfache Performance an. Geradezu wahnwitzig werden die Zahlen im Vergleich zu Googles TPU v4, mit BF16 soll Faktor 10x und mit FP8 gar Faktor 20x möglich sein.
Einzelne Chips herzunehmen und dabei die Anschaffungs- sowie die laufenden Kosten (TCO) und die Leistungsaufnahme zu berücksichtigen, ergeben jedoch wenig Sinn. Aus diesem Grund stellte Tachyum ein Rack mit vier DGX H100, also 32 der H100 SMX5, gegen ein Rack mit 96 der luftgekühlten und gegen ein Rack mit 144 der wassergekühlten Prodigy T16128: Rechnerisch sollen das 960 DP-Teraflops versus 6.200 DP-Teraflops versus 12.960 DP-Teraflops sein, also über die sechsfache respektive zwölffache Geschwindigkeit bei FP64-Berechnungen im gleichen Server-System-Formfaktor.
Zur Performance pro Watt macht Tachyum hier keine Angaben, wohl aber bei FP8 samt (Super) Sparsity: Das luftgekühlte Prodigy-Rack soll die 3,3-bis 6,7-fache Effizienz aufweisen. Laut Danilak wurden dabei die bereits erwähnten Teraflops mit der Systemleistungsaufnahme verrechnet; Tachyum gibt 76,3 Kilowatt für 24 der 2U-4-Sockel-Prodigy- und 40,8 Kilowatt für vier der 8U-DGX-H100-Systeme an.
Dabei gilt es zu beachten, dass alle Zahlen für künstliche Intelligenz rein theoretische Peak-Werte sind und anders als die SpecInt-2017-Scores nicht auf realen Benchmark-Ergebnissen basieren. Überdies hat Nvidia zumindest schon lauffähige H100-Hopper-Hardware in den Laboren, wohingegen Tachyum den Prodigy-Chip bisher rein simuliert hat.
Ein einziger Chip für alle Varianten
Damit erstellte Prognosen sind üblicherweise sehr präzise und werden mit der Zeit auch immer besser, für die praktische Implementierung gibt es eigene Systeme. Folgerichtig bietet Tachyum einen FPGA-Emulator(öffnet im neuen Fenster) in zwei Ausführungen an: Einer ist für Soft-Cores gedacht, er simuliert mit vier Chips acht der Prodigy-Kerne, und einer stellt I/O wie DDR5 plus PCIe Gen3 als Erweiterung bereit.
Einen echten Prozessor hat Tachyum derweil noch nicht. "Wir erwarten das Tape-out in der zweiten Hälfte des dritten Quartals", sagt Danilak. Das entspricht ungefähr Mitte August 2022, wenn alles glattgeht. "Ja, das wird knapp – deshalb sagen wir, im Dezember soll das Sampling starten", fügt der CEO hinzu. Zwischen dem Tape-out und lauffähigen Chips vergehen mindestens vier Monate, die eigentliche Serienfertigung ist für das erste Halbjahr 2023 angesetzt.
Tachyum lässt ein einziges Design produzieren, der Chip ist Danilak zufolge kleiner als 500 mm² – die exakten Maße nannte er zwar, sie sollen jedoch vorerst nicht öffentlich gemacht werden. Als Foundry wurde TSMC beauftragt, das den Prodigy im N5P(öffnet im neuen Fenster)-Verfahren mit extrem ultravioletter Belichtung (EUV) herstellt. Alle Varianten des Chips basieren auf demselben Die, da Tachyum sich nicht den Luxus leistet, den T864 oder den T832 extra aufzulegen. Stattdessen handelt es sich um sogenannte Salvage-SKUs.
ARM, x86 und RISC-V per Übersetzungsschicht
Das bedeutet, dass ein großer Prodigy T16128 genommen wird, bei dem Funktionseinheiten fehlerhaft sind und diese abgeschaltet werden. So entsteht ein T864 oder ein T832, das Package ist für alle Varianten ohnehin identisch. Dieses Vorgehen ist völlig normal: AMD beispielsweise hat mit dem Epyc 72F3 eine CPU im Angebot, bei der zwar acht Chiplets vorhanden sind, pro Die aber nur einer von acht Kernen aktiv ist.
Weil die Kunden von Tachyum ihre Software erst für den Prodigy anpassen müssen, wird statt der nativen auch eine emulierte Ausführung unterstützt. Hierzu setzt das Unternehmen auf Qemu für die Binary-Translation, was laut Danilak allerdings mit einem Performance-Verlust von 30 bis 40 Prozent einhergeht. "Wir unterstützen GCC und Linux nativ, mittlerweile läuft auch FreeBSD", erläutert der CEO. Das sei wichtig für Apple, Google, Microsoft Azure sowie für Kunden in Asien.
Generell laufen Anwendungen wie Apache, MongoDB oder Python bereits nativ – Frameworks wie Pytorch und Tensorflow sind ebenfalls verfügbar. Ceph, Docker und LLVM stehen auf der Software-Roadmap, wobei Cepth schon zur Hälfte portiert sein soll. Einer der Partner ist das National Supercomputing Center (NSCC(öffnet im neuen Fenster)) der Slowakei, wo Tachyum einen Standort hat. Dort soll ein Supercomputer(öffnet im neuen Fenster) auf Basis des Prodigy T16128 entstehen, der 64 Exaflops an AI-Leistung bereitstellt.
Prodigy 2 bereits in Arbeit
Auch ein Nachfolger befindet sich in der Vorbereitung, wobei das Design als eines der Important Projects of Common European Interest (IPCEI) eingereicht wurde und bis zu 49 Millionen Euro an Fördergeldern erhalten könnte. "Wir planen mehr als die doppelte Performance bei gleicher Leistungsaufnahme und gleichen Kosten", sagt Danilak. Neben einer 3-nm-Fertigung bei höchstwahrscheinlich TSMC sind unter anderem mehr Kerne, mehr Speicherbandbreite, PCIe Gen6 und mehr Sockel vorgesehen.
Wir sind sehr gespannt, wie sich der laut Tachyum weltweit erste universale Prozessor in der Praxis schlägt, sobald erste Partner mit dem Wunderkind-Chip bemustert werden. Die versprochenen Eckdaten klingen fast schon zu gut, vor allem mit Blick auf das zu schaffende Ökosystem dahinter.
- Anzeige Hier geht es zu den besten Prozessoren bei Mindfactory Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.