HPC-Mythen: Es gibt keine Silberkugel beim Hochleistungsrechnen
Eine einfache Lösung für ein kompliziertes Problem wird im Englischen als "silver bullet", Silberkugel, bezeichnet. Beim Hochleistungsrechnen (High Performance Computing, HPC) sind solche Silberkugeln quasi allgegenwärtig: Quantencomputer, optische Netze, FPGAs oder immer spezifischere Beschleuniger – stets findet sich eine Technologie, die alle Probleme lösen soll. Eine Gruppe von HPC-Experten vom japanischen HPC-Zentrum Riken und der ETH Zürich hat zwölf solche technologischen Hoffnungsträger, sie nennen diese Mythen, zusammengetragen.
In einem bei Arxiv vorveröffentlichten Artikel(öffnet im neuen Fenster) (via InsideHPC(öffnet im neuen Fenster)) analysieren sie den technischen Stand und kommen zum Schluss: Von keinem ihrer zwölf Mythen ist aus heutiger Sicht eine wundersame Leistungssteigerung im Hochleistungsrechnen zu erwarten. Riken führt mit seinen Hochleistungsrechnern, allesamt Eigenentwicklungen, regelmäßig die Top-500-Liste(öffnet im neuen Fenster) der leistungsfähigsten Computer an, zuletzt 2020 mit Fugaku.
Gleich mehrere der im Artikel betrachteten Mythen haben Beschleuniger zum Thema. Kein Wunder, versprechen deren Hersteller doch seit Jahren enorme Leistungssteigerungen für quasi jeden Code. Doch nicht alle Anwendungen lassen sich auf die gleiche Art beschleunigen, und für anwendungsspezifische Beschleuniger ist der HPC-Markt nach Ansicht der Experten zu klein. Auch bedeute ein zu heterogenes System am Ende Einschränkungen für alle Anwendungen. Rekonfigurierbare Logik (Field Programmable Gate Arrays, FPGAs) soll das Problem seit über zehn Jahren lösen, ist aber häufig schlicht zu ineffizient.
Zwischen GPU und FPGA sind die Coarse-Grained Reconfigurable Arrays (CGRAs) angesiedelt, sie enthalten mehr feste Funktionsblöcke. Das macht sie effizienter – auf Kosten der Universalität. Sie werden GPUs immer ähnlicher. Allgemein sehen die Autoren eine Angleichung von CPU und Beschleunigern. Spätestens mit Intels neuen Xeons schließt sich hier die Lücke in der Speicherbandbreite, die GPUs einen Vorteil verschaffte.
Nvidia dagegen entwirft eigene Prozessoren, die eng mit den eigenen GPUs gekoppelt sind, um den Wechsel zwischen Kontroll- und Rechenabschnitten von Anwendungen effizienter zu gestalten.
Quantencomputer und Deep Learning müssen sich erst beweisen
Hoffnungen auf enorme Leistungssteigerungen werden in Quantencomputer und Deep Learning gesetzt. Auch wenn Quantencomputer große Fortschritte machen, lösen sie noch immer kein Problem, das einen Hochleistungsrechner braucht. In vielen Fällen ist nicht einmal klar, wie ein entsprechendes Programm für den Quantencomputer aussehen müsste.
Und während Deep Learning tatsächlich komplexe Formeln ersetzen kann, ist, so das Fazit der Experten, keineswegs geklärt, ob das immer gilt oder nur für bestimmte Formeln oder gar nur gewisse Datensätze – und ob das KI-Modell am Ende schneller ist als die ersetzte Berechnung.
Das Gleiche gilt für neu eingeführte Gleitkommadatentypen mit geringerer Genauigkeit und kleinerem Wertebereich (g+): Berechnungen sind damit deutlich schneller als mit den 32- oder 64-Bit-Typen und für KI eignen sie sich hervorragend. Ob klassische HPC-Anwendungen mit dem kleineren Wertebereich noch funktionieren, muss sich aber erst noch zeigen.
Vielfach erwarten die Autoren Probleme durch numerische Instabilität. Ein möglicher Ausweg könnte sogenannte Mixed Precision sein, wobei zwei Variablen etwa mit 16-Bit-Typen verrechnet werden, das Ergebnis aber mit der nächsthöheren Genauigkeit ausgegeben wird.
Solche und andere Optimierungen tragen viel dazu bei, einzelne Teilbereiche des Hochleistungsrechnens deutlich zu beschleunigen. Alle Herausforderungen lösen sie aber nicht – weshalb die Großrechner immer komplexer, aufwendiger und leistungshungriger werden.
HPC könnte Silberkugel gebrauchen
Um versprochene Leistungssteigerungen zu erreichen, möglicherweise sogar um die gewohnte Steigerung beizubehalten, ist aber, so wird beim Lesen des Papers deutlich, eigentlich eine Silberkugel nötig: Moore's Law kommt absehbar an seine Grenzen, und gesteigerte Rechenleistung ging stets mit höherem Energiebedarf einher.
So benötigte das erste Peta-FLOPS-System Roadrunner mit 2,35 MW fast dreimal so viel elektrische Leistung wie das erste Tera-FLOPS-System ASCI Red(öffnet im neuen Fenster). Noch größer war die Steigerung beim ersten offiziellen Exa-FLOPS-Rechner Frontier: Er benötigt fast neunmal so viel Energie wie Roadrunner.
In diesem Licht betrachten die Autoren Intels Ankündigung, noch in diesem Jahrzehnt das erste Zetta-FLOPS-System installieren zu wollen, wobei die Leistungsaufnahme maximal um den Faktor fünf steigen soll. Ihr Fazit: Ohne revolutionäre Technologie in der Hinterhand ist das nur mit einem gigantischen Energiebedarf von 2,5 GW zu schaffen – oder erst Jahre später, sofern Intel von den üblichen 64-Bit-Gleitkommazahlen spricht.
Großrechner müssen anders gedacht werden
Nach Ansicht der Experten brauchen Hochleistungsrechner einen Paradigmenwechsel. Anstatt zu versuchen, einzelne identifizierte Probleme mit Hardware zu erschlagen, müsse viel systematischer gedacht werden. Konzentriere man sich nur auf ein aktuelles Problem, laufe man Gefahr, an anderer Stelle bald ein neues zu haben. Als Beispiel wird die Steigerung der Rechenleistung in den vergangenen Jahrzehnten genannt, die aber aufgrund stagnierender Speicherbandbreite oft kaum noch sinnvoll zu nutzen sei.
Daher sollten Anwendungen dem Team zufolge viel systematischer untersucht werden, um die am besten geeignete Systemarchitektur zu ermitteln. Auch auf Softwareseite sei oft einige Optimierung möglich, die dürfe allerdings ebenso wie die Leistungssteigerung der Hardware nicht als unerschöpflicher Quell steigender Leistung betrachtet werden.
Auch sind die Autoren mehr als skeptisch gegenüber Ankündigungen, dank Silicon Photonics sei es bald egal, wo im Rechenzentrum etwa das von einer Anwendung genutzte RAM liegt. Ein solcher Ansatz werde schnell deutlich langsamer als lokal an den Prozessor angeschlossener Speicher – die Architektur lässt sich also nicht getrost vergessen.
In einer so komplexen Disziplin wie dem Hochleistungsrechnen, in der Software teils Jahrzehnte an Geschichte mit sich trägt, lassen sich Erfolge kaum verallgemeinern. Ohne all die Silberkugeln aber bleibt Hochleistungsrechnen das, was es schon immer war: viel, aber spannende Arbeit.
- Anzeige Hier geht es zu Intel-Prozessoren bei Alternate Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.