Das Internet im Container

Internet Archive migriert auf SunMD mit Sun Fire X4500 und ZFS. Das Internet Archive hat ein neues Rechenzentrum bezogen, das in einem Standardcontainer 3 Petabyte Daten unterbringt. Mit weiteren Containern soll die Kapazität künftig erweitert werden, schließlich wächst das Archiv um rund 100 TByte pro Monat.

26. März 2009 um 09:42 Uhr / Jens Ihlenfeld

Affiliate-Hinweis

Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.

Mitte 2005 nahm das Internet Archive ein StorageSystem von Capricorn mit einer Kapazität von 1 PByte in Betrieb. Die PetaBox bestand aus 600 Clusterknoten mit insgesamt rund 2.500 Festplatten. Nun migriert das Internet Archive, das eines der am schnellsten wachsenden digitalen Archive der Welt ist, auf das Sun Modular Datacenter (SunMD).

Das SunMD kommt in einem Standardcontainer daher und kann mit zusätzlichen Containern ausgebaut werden. Der erste Container beherbergt ein Storage-System mit einer Kapazität von rund 2 PByte. Es steht auf Suns Campus in Santa Clara (Kalifornien).

Video: Das Internet Archive nutzt SunMD zur Archivierung des Internets (3:52)

Affiliate-Hinweis

Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.

Der Container beherbergt 60 Sun-Fire-X4500-Storage-Server, von denen jeder auf vier Höheneinheiten 48 SATA-Festplatten mit 48 TByte Speicherkapazität unterbringt. Als Prozessor kommt AMDs Opteron mit zwei Kernen zum Einsatz. Als Betriebssystem kommt Solaris 10 mit ZFS als Dateisystem dazu.

Das neue Rechenzentrum des Internet Archive soll rund 500 Anfragen pro Sekunde beantworten und mit dem steigenden Platzbedarf skalieren, denn das Internet Archive wächst derzeit um mehr als 1 PByte pro Jahr. Das Internet Archive besteht aus rund 120 Milliarden Schnappschüssen aus zwölf Jahren, die unkomprimiert rund 3,5 PByte Speicherplatz belegen, komprimiert sind es rund 1,5 PByte.

Gegründet wurde das Internet Archive 1996 von Brewster Kahle mit dem Ziel, das Internet zu archivieren, das heißt, regelmäßige Schnappschüsse aller verfügbaren Webseiten zu speichern. Heute speichert es zudem Bilder und Videos. Die Wayback-Machine dient als öffentliche Schnittstelle zum Internet Archive und erlaubt es, alte Versionen von Webseiten zu betrachten.