Desktop-Supercomputer aus 13 GPUs mit 1,2 Kilowatt
Die Forschungsgruppe "ASTRA(öffnet im neuen Fenster)" (All Scale Tomographic Reconstruction Antwerp) der Universität von Antwerpen beschäftigt sich seit einigen Jahren mit der Entwicklung von vergleichsweise einfachen Rechenmodellen für Computertomographie. Die Software für die riesigen Tomographie-Maschinen wird in der Regel von den Herstellern der Geräte geliefert und hält oft mit dem Stand der Technik bei Hardware nicht mit.
Statt eines im Jahr 2005 angeschafften Clusters aus 512 Single-Core-Opterons verwendet das Team seit 2008 seinen GPU-Supercomputer Fastra, der mit acht GPUs schon schneller als der Opteron-Cluster war. Das neue Modell Fastra II(öffnet im neuen Fenster) mit 12 rechnenden GPUs ist nun dreimal schneller als der erste Fastra.
Die Wissenschaftler verwendeten dafür das Mainboard P6T7(öffnet im neuen Fenster) von Asus für Core-i7-CPUs, das mit seinem X58-Chipsatz und zwei zusätzlichen PCI-Express-Switches vom Typ NF200 von Nvidia insgesamt sieben x16-Slots für PCIe-Grafikkarten zur Verfügung stellt. In diesen stecken sechs GTX-295 für die Berechnungen und eine GTX-275, die für die Bildausgabe zuständig ist. Da bereits früh im Jahr 2009 mit dem Bau begonnen wurde, kommen vier GTX-295 der ersten Generation mit zwei Platinen zum Einsatz sowie zwei neuere Modelle, bei denen die beiden GPUs auf einer Platine sitzen.
Als erstmals sechs Grafikkarten im Rechner steckten, stießen die Forscher auf ein recht ungewöhnliches Problem: Nur acht bis neun der 12 GPUs waren vom Betriebssystem, einem 64-Bit-Linux, auch ansprechbar. Der Grund ist das 32-bittige BIOS des Mainboards: Es kann PCIe-Devices nur in den Adressraum unter 4 GByte einblenden, so dass für die sechs Karten schlicht zu wenig Speicher zur Verfügung stand.
Wie die Antwerpener auf einer eigenen Seite dokumentieren(öffnet im neuen Fenster), braucht jede der GPUs je einen Block von 16, 32, und 256 MByte im 4-GByte-Adressraum, für 12 GPUs also schon 3.648 MByte, andere PCI-Devices nicht mitgerechnet. Da das Projekt von Asus unterstützt wurde, erstellte der Hardwarehersteller ein eigenes BIOS, das nur eine einzige Grafikkarte initialisierte, nämlich die GTX-275. Die GTX-295 lässt dieses BIOS aus, deren Adressräume stellten die Forscher dem Linux über Änderungen am Kernel jenseits der 4-GByte-Grenze für die 256-MByte-Blöcke zur Verfügung, die kleineren Bereiche passten noch unterhalb 4 GByte.
Die Probleme beim Hardwareaufbau scheinen dagegen klein: Der Fastra II steckt in dem handelsüblichen Gehäuse PC-80 "Armorsuit" von Lian Li. Dessen Slotbleche mussten für die Karten, die in verschraubten Käfigen sitzen, aber modifiziert werden, die linke Seitenwand fehlt ebenso, weil die Karten durch die Käfige über die Rückwand des Gehäuses ragen. Probleme mit der Kühlung ergaben sich dabei nicht, obwohl bei kleineren Systemen ein Luftzug durch das Gehäuse ratsam ist.
Ein mit einer Wärmebildkamera aufgenommenes Video zeigt, dass auch unter Last nur rund 60 Grad an den Karten entstehen. Diese werden aber auch durch mehrere Gehäuselüfter gekühlt, deren Luftstrom die Karten auch von unten trifft, denn diese stecken nicht direkt im Mainboard, sondern sind über eigens angefertigte Riser-Cards von Adex Electronics höhergelegt. Dadurch bekommen auch der stromhungrige X58-Chipsatz und die PCIe-Switches genügend Luft.
Der Rest der Komponenten ist vergleichsweise trivial: Ein Core i7 920 steuert das System, 12 GByte DDR3-1.333-Speicher auf 2-GByte-Modulen von Corsair bilden das RAM für das Betriebssystem. Das liegt auf einer einzelnen 1-Terabyte-Festplatte vom Typ Spinpoint F3 von Samsung. Gesichert wird im Netzwerk, die einzelne Festplatte ist notwendig, um den Luftstrom im Gehäuse nicht zu behindern.
Da der Fastra II – anders als Gaming-PCs – unbedingt stabil laufen muss, damit nicht wochenlange Berechnungen verloren gehen, haben seine Erbauer die Stromversorgung stark überdimensioniert. Als ATX-Netzteil dient das Modell Toughpower von Thermaltake mit 1.500 Watt Nennleistung, es versorgt Mainboard-Komponenten und vier der GTX-295. Die anderen beiden Karten dieses Typs und die GTX-275 werden über je ein eigenes Netzteil vom Typ PowerExpress 450 Watt von Thermaltake versorgt.
Diese Netzteile sind für die Speisung von Grafikkarten gedacht und passen in einen 5,25-Zoll-Einbauschacht, wo sonst meist optische Laufwerke sitzen. Sie können zwar zwei Grafikkarten versorgen, die Antwerpener nutzen sie aber nur für je eine Karte. Die gesamte Nennleistung der Maschine summiert sich so auf 2.850 Watt, unter Volllast braucht der Fastra II aber nur 1.200 Watt.
Gemessen an der Rechenleistung ist das wenig. Schon der erste Fastra lag bei 950 Watt mit GPU-Last, Fastra II ist aber dreimal schneller und benötigt nur 27 Prozent Energie. Noch deutlicher wird die Energieeffizienz der Lösung beim Vergleich der berechneten Schnittebenen (Slices) pro Wattstunde: Fastra II kommt hier auf über 12.000 Slices/Wh, sein Vorgänger auf 4.300 Slices/Wh. Der betagte Opteron-Cluster erreicht nur gut 0,04 Schnitte pro Wattstunde. Gebaut wurde das System übrigens nicht von den Forschern allein, sondern mit Hilfe des belgischen Hardwarehändlers Tone.be. Die Gesamtkosten für den Rechner beliefen sich laut der Universität auf rund 6.000 Euro.
Die Software des Systems ist mit Ausnahme der spezifischen CUDA-Anwendungen und des modifizierten Linux-Kernels ebenfalls handelsüblich: CentOS 5.3 bildet die Basis, entwickelt wird unter Windows auf anderen Rechnern mit Visual Studio 2005 und Linux zusammen mit Matlab 2009b. Der Linux-Code für Fastra II wird dann durch den Compiler GNU C++ erzeugt.
- Anzeige Hier geht es zu Intel-Prozessoren bei Alternate Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.