SuperMUC am LRZ: Europas schnellster Computer von innen
"Wir haben noch einen vergessen" scherzt Bundesforschungsministerin Annette Schavan am frühen Morgen des 20. Juli 2012, als sie auf Wunsch der Fotografen bereits zum dritten Mal den roten Knopf drückt. Der Schalter hat zwar keine Funktion, wie sein frei im Raum aufgestelltes Podest ohne Kabel belegt, aber das Foto ist wichtig – anders ist einer breiten Öffentlichkeit kaum zu vermitteln, dass der Supercomputer ab jetzt wirklich funktioniert und Wissenschaftlern als Werkzeug dienen soll.
Der symbolische Akt findet mitten im SuperMUC genannten Rechner selbst statt, der im obersten Stock eines der beiden Rechnergebäude im Forschungscampus in Garching(öffnet im neuen Fenster) steht. "Novogarchinsk" – in Anlehnung an Nowosibirsk(öffnet im neuen Fenster) – schimpfen langjährige Mitarbeiter der TU München und anderer dort untergebrachten Institute den abgelegenen Münchner Vorort, weil sie nun statt zu den zentral gelegenen Forschungsstätten im Zentrum der bayerischen Landeshauptstadt oft 30 Minuten mit der U-Bahn ins Umland fahren müssen. Das tut kaum noch ein Forscher oder Student mit dem Fahrrad, wie es früher der klassische Weg zur Uni war.
Seit 2006 befindet sich das Leibniz Rechenzentrum(öffnet im neuen Fenster) (LRZ) in Garching, und erst der Umzug macht ein Projekt wie SuperMUC überhaupt möglich. Große Rechner brauchen viel Platz.
An diesem Morgen haben sich aber auch zahlreiche Politiker, Uni-Präsidenten, ehemalige Mitarbeiter und eben auch Annette Schavan auf den Weg nach Garching gemacht. Schließlich hat die von Bund und Land mit 83 Millionen Euro errichtete Anlage vor zwei Wochen erst Platz 4 der Top500 Supercomputer-Charts erreicht. Mit einer Rechenleistung von 3 Petaflops, also 3 Billiarden Rechenoperationen pro Sekunde, ist er der schnellste Supercomputer Europas. Oder, wie Schavan sagt: "eine Super-Erkenntnisquelle" .
Sparsamer durch heißes Wasser
Wer aus dem Münchner Zentrum nach Garching mit dem Auto fährt, nimmt in der Regel die Autobahn – dabei kommt er dann auch an der Allianz Arena vorbei, dem Stadion des FC Bayern. Das haben offenbar viele der insgesamt zehn Redner der Eröffnungszeremonie getan, denn die Fussballanspielungen wiederholen sich: München hat die Champions League gewonnen, oder: "Deutschland ist Europameister – wie hätten wir uns gefreut, wenn wir vor ein paar Wochen hätten sagen können" , sagt der bayerische Wissenschaftsminister Wolfgang Heubisch.
Auch er wird vor seiner Rede zusammen mit einigen Journalisten Opfer der Sicherheitsmaßnahmen im Gebäude des SuperMUC: Für ein paar Minuten sind im Treppenhaus alle Türen zugefallen, und die LRZ-Mitarbeiter mit den Keycards stehen auf der anderen Seite. Anrufen geht auch nicht, denn das Gebäude ist durch ein Stahlgitter als Faradayscher Käfig(öffnet im neuen Fenster) gebaut, der nicht nur Blitze ableitet, sondern auch Mobilfunksignale abschirmt. Die Wissenschaftler bemerken die Abwesenheit des Ministers aber schnell und befreien die Gäste. Heubisch hatte sich schon gefreut: "Dann muss meine Rede leider, leider ausfallen" , sagte er im Treppenhaus.
Dort ist es nur geringfügig kühler als im Rechnerraum, der 500 Quadratmeter umfasst. Wie in allen derartigen Rechenzentren gibt es eine Klimaanlage, die aber nicht die Hauptlast der Wärmeabfuhr tragen muss. SuperMUC ist der größte Rechner, der mit Heißwasser gekühlt wird, und die Leitungen dafür liegen im Boden. Die gelben Kabelablagen über den Racks dienen hauptsächlich für die Vernetzung.
Heißwasser heißt im Fall der von IBM gebauten iDataplex-Module(öffnet im neuen Fenster) : Prozessoren, Chipsätze und Speichermodule werden von Wasser umspült, das bis zu 60 Grad warm werden darf. Für die CPUs hat IBM eigene Kühlkörper mit Mikrokanälen entwickelt, die durch die große Fläche im Inneren sehr flach ausfallen können. Das ist wichtig, um die Packungsdichte zu erhöhen. Rund 155.000 Prozessoren vom Typ Xeon E5-2600 (Sandy Bridge-EP) bilden den SuperMUC.
Der Zulauf des Wassers darf bis zu 45 Grad warm werden. In einem Bereich von nur 15 Grad findet die Kühlung statt, und im Idealfall müssen die Wärmetauscher das Wasser nur um 15 Grad in der Temperatur senken, was den Energiebedarf nach Angaben der Ingenieure um 40 Prozent gegenüber reiner Luftkühlung reduziert.
Noch, so erklärt Deutschlands IBM-Chefin Martina Koederitz in ihrer Rede, beträgt die Temperatur des Kühlmittels im Zulauf aber nur 39 Grad, weil das Feintuning der Anlage noch nicht abgeschlossen ist. Ebenso wie der Rechner selbst ist auch das Kühlsystem die größte Installation ihrer Art, die so nur durch eine Erweiterung des Rechnergebäudes möglich war.
Dach auf, Supercomputer rein
Neben dem ersten wrfelförmigen Gebäude, beschriftet mit einer Null, steht seit 2010 ein zweiter Würfel mit einer Eins. Darin wurde SuperMUC im obersten der drei Stockwerke gebaut, das Prinzip hatte sich schon bei seinem Vorgänger HLRB II bewährt, der weiterhin in Gebäude Null steht. Wenn der neue Rechner umgebaut werden muss, wird das Dach abgedeckt und die neuen Komponenten werden mit einem Kran an ihren Platz gehievt.
Das geht schneller als andere bauliche Maßnahmen, und ein ebenerdiger Zugang würde die Flexibilität verringern: Doppelte Böden wie nun für die Heißwasserkühlung lassen sich in höheren Stockwerken leichter nachträglich einziehen als bei einem durch das Fundament begrenzten Keller.
HLRB II wird in Zukunft wohl nicht mehr so einfach umzubauen sein, denn ein Teil der Kühlanlagen für SuperMUC steht auf dem Dach des Würfels Null. Wie schon beim ersten Supercomputer in Garching wird auch die Abwärme des neuen Rechners für die Heizung der Gebäude genutzt. Das meint nicht nur die Büros, sehr flache und große Heizkörper sind überall im LRZ zu sehen, auch in Fluren und Treppenhäusern.
Auch bei der Arbeit an der Maschine selbst macht sich die neuartige Kühlung durch bessere Arbeitsbedingungen bemerkbar. Es ist nicht nur weniger warm als in anderen großen Rechenzentren, sondern auch merklich leiser. Doch "idealerweise ist im Doppelwürfel kein Mensch" , wie der frühere LRZ-Chef Heinz-Gerd Hegering in seiner Rede sagt. Die gesamte Anlage lässt sich aus der Ferne nicht nur nutzen, sondern auch steuern.
Gegenüber den früheren Angaben zum Erreichen des Platz 4 der aktuellen Top500-Liste wurde SuperMUC schon jetzt erweitert. Das LRZ sprach damals von 18.432 Sockeln, was bei den acht Kernen eines Xeon E5-2600 schon 147.456 Kerne ergeben würde. Bei der Inbetriebnahme machten die Wissenschaftler nun die Angabe von rund 155.000 Kernen. Das ist bei so großen Systemen aber nicht ungewöhnlich, sie werden ständig erweitert oder es werden defekte Komponenten ausgetauscht sowie Reservesysteme kurzfristig zugeschaltet.
So nennt auch die Systembeschreibung des LRZ(öffnet im neuen Fenster) für den neuen Rechner eine andere Zahl der Kerne, sie wird dort mit 155.656 Cores angeben, was 19.457 Sockeln entspricht. Auf dieser Seite sind auch die weiteren technischen Daten, aber nur in zusammengefasster Form einsehbar. So sind beispielsweise für den Speicher nur "ᐳ300 TB RAM" angegeben.
Wie dynamisch ein Supercomputer genutzt wird, zeigen die Live-Statistiken(öffnet im neuen Fenster) für das kleinere System namens SuperMIG. Am 20. Juli 2012 waren von seinen 8.200 Cores in der Spitze nur 7.152 genutzt worden.
SuperMIG, der nicht mit SuperMUC verwechselt werden sollte – obwohl beide auf dersselben LRZ-Seite dokumentiert sind(öffnet im neuen Fenster) – ist das Migrationswerkzeug auf dem Weg zur Nutzung von SuperMUC. Da der vorherige Supercomputer HLRB II auf Intels Itanium-Architektur basierte, mussten sämtliche Programme auf die x86-Architektur von SuperMUC portiert werden(öffnet im neuen Fenster) .
Nächste Ausbaustufe schon geplant
Auch wenn der Druck auf den roten Knopf nur symbolisch war, hatten vor allem die Wissenschaftler ein klares Ziel mit dem Festakt in Garching: Deutschlands führende Rolle bei Supercomputern in Europa zu sichern. So sagte Wolfgang Herrmann, Präsident der TU München unmissverständlich: "Ich bedanke mich bei der Politik für die Investitionen, die in den nächsten Jahren noch bevorstehen."
Der bayerische Wissenschaftsminister Heubisch reagierte kurz darauf ebenso direkt: "Wir werden auch weiter das Hochleistungsrechnen finanzieren" , versprach er. In seinem letzten Beitrag kündigte der durch die Veranstaltung führende LRZ-Chef Arndt Bode dann auch überraschend an, dass am selben Tag noch Gespräche mit IBM und Intel zu einem Ausbau des SuperMUC stattfinden sollten.
Der könnte dann vielleicht auch mit Intels Beschleunigerkarten der MIC-Architektur stattfinden. Die seit Jahren in Entwicklung befindlichen Karten mit derzeit rund 50 Kernen auf einem Chip werden am LRZ bereits getestet, wie Intels Chef der Technical Computing Group, Rajeeb Hazra, am Rande der Veranstaltung sagte. Die jüngsten Vorserienmodelle dieser Karten mit Codenamen Knights Corner sind bisher aber nur mit Luftkühlung ausgestattet.
Falls Intel sie einmal mit Heißwasserkühlung zeigen sollte, wäre das ein deutliches Signal für eine Erweiterung von SuperMUC mit MIC – was dann die Namensverwirrung komplett machen würde, denn schließlich gibt es weiterhin den SuperMIG.
Immerhin äußerlich ist SuperMUC unverwechselbar. Die schwarzen Racks mit ihren oben angebrachten knallgelben Kabelführungen verweisen auf die offiziellen Farben Schwarz-Gold(öffnet im neuen Fenster) der Stadt München.