Project Kittyhawk - Einer, sie alle zu hosten

Supercomputer soll das ganze Internet hosten können. IBM untersucht am T.J. Watson Research Center, wie sich Supercomputer zum Hosten von Webapplikationen nutzen lassen. Die Forscher arbeiten an einem System auf Basis von IBMs BlueGene/P, das nicht nur in der Lage sein soll, einzelne Websites zu hosten, sondern das gesamte Internet.

6. Februar 2008 um 11:15 Uhr / Jens Ihlenfeld

Unter dem Titel "Project Kittyhawk: Building a Global-Scale Computer" veröffentlichten die IBM-Forscher Jonathan Appavoo, Volkmar Uhlig und Amos Waterland einen Aufsatz, der sich mit der Frage beschäftigt, wie gut sich IBMs Supercomputer-Plattform BlueGene/P zum Hosten von Webapplikationen nutzen lässt. Ihre Hypothese: BlueGene/P ist auch bei typischen "web-scale workloads" verglichen mit den heute eingesetzten Cluster-Lösungen deutlich effizienter.

Affiliate-Hinweis

Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.

Die Plattform BlueGene/P besteht aus einer Vielzahl eng gepackter und hoch integrierter Systeme, die mit hohen Bandbreiten miteinander verbunden sind. Jeder einzelne Node besteht aus einem System-on-a-Chip, je vier Cache-kohärenten, mit 850 MHz getakteten PowerPC-Kernen samt DRM und Verbindungscontrollern. Jeweils 32 Nodes werden auf eine Node-Karte gepackt, von denen jeweils 16 Stück auf einer "Midplane" sitzen. Pro Rack können zwei solcher Midplans mit insgesamt 1.024 Nodes mit 2 TByte RAM untergebracht werden. Das theoretische Hardware-Limit von BlueGene/P liegt bei 16.384 Racks bzw. 16,7 Millionen Nodes oder 67,1 Millionen Prozessorkernen sowie 32 PByte RAM.

Dabei kann jede einzelne Node-Karte zusätzlich mit bis zu zwei IO-Nodes bestückt werden, die einen 10-Gigabit-Ethernet-Port enthalten. So kann jedes Rack mit einer Bandbreite von 640 GBit/s an die Außenwelt angebunden werden, die Gesamtbandbreite der Maximal-Installation liegt bei rund 10,4 PByte/s.

Die einzelnen Nodes können dabei wie herkömmliche Computer betrachtet werden, die in erster Linie durch eine erweiterte Floating-Point-Unit für den Einsatz in Supercomputer-Umgebungen ausgelegt wurden. Ein solches auf die parallele Verarbeitung von Aufgaben ausgelegtes System müsste sich auch sehr gut für typische Webapplikationen eignen, so die Idee hinter Kittyhawk. Dabei würde dann ein Computer entstehen, der nicht nur einzelne große Webapplikationen hosten kann, sondern das gesamte Internet.

Als Betriebssystem kommt Linux zum Einsatz, wobei die Forscher auf kleine Root-Dateisysteme setzen, die in den Speicher der Nodes geladen werden und komplett aus dem RAM ablaufen. Sie bezeichnen diesen Ansatz als "Software Appliance". Auf diese Weise soll sich ein Block von 512 Nodes in rund 45 Sekunden mit neuer Software bestücken lassen, um z.B. aus einem Java-Server einen für Ruby on Rails zu machen. Das dazu entwickelte Software-System erlaubt es, auch einzelne solcher Images zu verändern oder zu fusionieren.

Parallel dazu wird mit einem Ansatz auf Basis des L4 Hypervisor/Microkernels experimentiert.

Affiliate-Hinweis

Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.

An einem Prototypen mit 256 BlueGene-Nodes konnten bereits erste Benchmarks und Tests gefahren werden. Im Java-Benchmark SPECjbb2005 kam es auf eine Leistung von 9.565 Business Operations pro Sekunde (BOPS) bzw. insgesamt auf 2,4 Millionen BOPS. Auch der bei vielen Web-2.0-Applikationen genutzte LAMP-Stack (Linux, Apache, MySQL und PHP) wurde getestet, wobei die Datenbank ausgegliedert wurde, so dass Stateless-Webserver entstehen. Entsprechende Applikationen profitieren besonders von einer parallelen Verarbeitung, wobei die Leistung des einzelnen Nodes in den Hintergrund rückt.

Auch als Compiler-Farm kann ein solches System genutzt werden, experimentiert wurde hierbei mit distcc, wobei der Vorgang des Kompilierens auf mehrere hundert Nodes verteilt wird.

Die Vision der Forscher sieht den Aufbau einer globalen Computer-Infrastruktur vor, die nicht von einem einzelnen Unternehmen allein genutzt wird. Vielmehr gehe es darum, ein von vielen genutztes System zu schaffen, von dem alle dank der starken Konsolidierung profitieren. Drittanbieter sollen auf dieser Basis Dienstleistungen anbieten. Aus technischer Sicht seien die ersten Ergebnisse sehr vielversprechend, so die Forscher.