HPC-Mythen: Es gibt keine Silberkugel beim Hochleistungsrechnen

Revolutionieren Quantencomputer, neue Beschleuniger oder Programmiersprachen die Hochleistungsrechner? Eine Gruppe von Experten sagt: nein.

Artikel von Johannes Hiltscher veröffentlicht am 31. Januar 2023, 12:30 Uhr

Hochleistungsrechner wie Frontier werden immer schneller, geschenkt gibt es Leistungssteigerungen aber nicht. (Bild: ORNL, Flickr/CC-BY 2.0)

Eine einfache Lösung für ein kompliziertes Problem wird im Englischen als "silver bullet", Silberkugel, bezeichnet. Beim Hochleistungsrechnen (High Performance Computing, HPC) sind solche Silberkugeln quasi allgegenwärtig: Quantencomputer, optische Netze, FPGAs oder immer spezifischere Beschleuniger - stets findet sich eine Technologie, die alle Probleme lösen soll. Eine Gruppe von HPC-Experten vom japanischen HPC-Zentrum Riken und der ETH Zürich hat zwölf solche technologischen Hoffnungsträger, sie nennen diese Mythen, zusammengetragen.

In einem bei Arxiv vorveröffentlichten Artikel (via InsideHPC) analysieren sie den technischen Stand und kommen zum Schluss: Von keinem ihrer zwölf Mythen ist aus heutiger Sicht eine wundersame Leistungssteigerung im Hochleistungsrechnen zu erwarten. Riken führt mit seinen Hochleistungsrechnern, allesamt Eigenentwicklungen, regelmäßig die Top-500-Liste der leistungsfähigsten Computer an, zuletzt 2020 mit Fugaku.

Gleich mehrere der im Artikel betrachteten Mythen haben Beschleuniger zum Thema. Kein Wunder, versprechen deren Hersteller doch seit Jahren enorme Leistungssteigerungen für quasi jeden Code. Doch nicht alle Anwendungen lassen sich auf die gleiche Art beschleunigen, und für anwendungsspezifische Beschleuniger ist der HPC-Markt nach Ansicht der Experten zu klein. Auch bedeute ein zu heterogenes System am Ende Einschränkungen für alle Anwendungen. Rekonfigurierbare Logik (Field Programmable Gate Arrays, FPGAs) soll das Problem seit über zehn Jahren lösen, ist aber häufig schlicht zu ineffizient.

Zwischen GPU und FPGA sind die Coarse-Grained Reconfigurable Arrays (CGRAs) angesiedelt, sie enthalten mehr feste Funktionsblöcke. Das macht sie effizienter - auf Kosten der Universalität. Sie werden GPUs immer ähnlicher. Allgemein sehen die Autoren eine Angleichung von CPU und Beschleunigern. Spätestens mit Intels neuen Xeons schließt sich hier die Lücke in der Speicherbandbreite, die GPUs einen Vorteil verschaffte.

Nvidia dagegen entwirft eigene Prozessoren, die eng mit den eigenen GPUs gekoppelt sind, um den Wechsel zwischen Kontroll- und Rechenabschnitten von Anwendungen effizienter zu gestalten.

Quantencomputer und Deep Learning müssen sich erst beweisen

Hoffnungen auf enorme Leistungssteigerungen werden in Quantencomputer und Deep Learning gesetzt. Auch wenn Quantencomputer große Fortschritte machen, lösen sie noch immer kein Problem, das einen Hochleistungsrechner braucht. In vielen Fällen ist nicht einmal klar, wie ein entsprechendes Programm für den Quantencomputer aussehen müsste.

Und während Deep Learning tatsächlich komplexe Formeln ersetzen kann, ist, so das Fazit der Experten, keineswegs geklärt, ob das immer gilt oder nur für bestimmte Formeln oder gar nur gewisse Datensätze - und ob das KI-Modell am Ende schneller ist als die ersetzte Berechnung.

Das Gleiche gilt für neu eingeführte Gleitkommadatentypen mit geringerer Genauigkeit und kleinerem Wertebereich (g+): Berechnungen sind damit deutlich schneller als mit den 32- oder 64-Bit-Typen und für KI eignen sie sich hervorragend. Ob klassische HPC-Anwendungen mit dem kleineren Wertebereich noch funktionieren, muss sich aber erst noch zeigen.

Vielfach erwarten die Autoren Probleme durch numerische Instabilität. Ein möglicher Ausweg könnte sogenannte Mixed Precision sein, wobei zwei Variablen etwa mit 16-Bit-Typen verrechnet werden, das Ergebnis aber mit der nächsthöheren Genauigkeit ausgegeben wird.

Solche und andere Optimierungen tragen viel dazu bei, einzelne Teilbereiche des Hochleistungsrechnens deutlich zu beschleunigen. Alle Herausforderungen lösen sie aber nicht - weshalb die Großrechner immer komplexer, aufwendiger und leistungshungriger werden.