Das Internet im Container

Internet Archive migriert auf SunMD mit Sun Fire X4500 und ZFS

Das Internet Archive hat ein neues Rechenzentrum bezogen, das in einem Standardcontainer 3 Petabyte Daten unterbringt. Mit weiteren Containern soll die Kapazität künftig erweitert werden, schließlich wächst das Archiv um rund 100 TByte pro Monat.

Artikel veröffentlicht am ,

SunMD alias Project BlackBox
SunMD alias Project BlackBox
Mitte 2005 nahm das Internet Archive ein StorageSystem von Capricorn mit einer Kapazität von 1 PByte in Betrieb. Die PetaBox bestand aus 600 Clusterknoten mit insgesamt rund 2.500 Festplatten. Nun migriert das Internet Archive, das eines der am schnellsten wachsenden digitalen Archive der Welt ist, auf das Sun Modular Datacenter (SunMD).

Stellenmarkt
  1. Mitarbeiter IT Onsite Support (m/w/d) Schwerpunkt Logistik & Spedition
    Emons Spedition GmbH, Hallbergmoos
  2. Data Solution Engineer (m/w/d)
    BSH Hausgeräte GmbH, Traunreut
Detailsuche

Das SunMD kommt in einem Standardcontainer daher und kann mit zusätzlichen Containern ausgebaut werden. Der erste Container beherbergt ein Storage-System mit einer Kapazität von rund 2 PByte. Es steht auf Suns Campus in Santa Clara (Kalifornien).

 

Sun Fire X4500
Sun Fire X4500
Der Container beherbergt 60 Sun-Fire-X4500-Storage-Server, von denen jeder auf vier Höheneinheiten 48 SATA-Festplatten mit 48 TByte Speicherkapazität unterbringt. Als Prozessor kommt AMDs Opteron mit zwei Kernen zum Einsatz. Als Betriebssystem kommt Solaris 10 mit ZFS als Dateisystem dazu.

Das neue Rechenzentrum des Internet Archive soll rund 500 Anfragen pro Sekunde beantworten und mit dem steigenden Platzbedarf skalieren, denn das Internet Archive wächst derzeit um mehr als 1 PByte pro Jahr. Das Internet Archive besteht aus rund 120 Milliarden Schnappschüssen aus zwölf Jahren, die unkomprimiert rund 3,5 PByte Speicherplatz belegen, komprimiert sind es rund 1,5 PByte.

Golem Akademie
  1. Cloud Computing mit Amazon Web Services (AWS): virtueller Drei-Tage-Workshop
    14.–16. Februar 2022, virtuell
  2. SAMBA Datei- und Domänendienste einrichten: virtueller Drei-Tage-Workshop
    7.–9. März 2022, Virtuell
Weitere IT-Trainings

Gegründet wurde das Internet Archive 1996 von Brewster Kahle mit dem Ziel, das Internet zu archivieren, das heißt, regelmäßige Schnappschüsse aller verfügbaren Webseiten zu speichern. Heute speichert es zudem Bilder und Videos. Die Wayback-Machine dient als öffentliche Schnittstelle zum Internet Archive und erlaubt es, alte Versionen von Webseiten zu betrachten.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


erzubmanuz 14. Apr 2009

LOL... was für ein scheiss...wenn man schon so agumentiert "es hätte alles keinen sinn...

spaceball 27. Mär 2009

Klar..Und ein Sportauspuff, die Server tiefer legen, alle Fenster mit runden Kanten...

tztztzt 27. Mär 2009

Zitat http://www.archive.org/about/faqs.php; What type of machinery is used in this...

Tauss 27. Mär 2009

Sie dreht gerade ein Homevideo mit mir. ;)

zilti 26. Mär 2009

Doppeltes zu speichern wird ja bereits heute wo möglich vermieden - das ist die...



Aktuell auf der Startseite von Golem.de
Cloud-Ausfall
Eine AWS-Region als Single Point of Failure

Ein stundenlanger Ausfall der AWS-Cloud legte zentrale Dienste und sogar Amazon selbst teilweise lahm. Das zeigt die Grenzen der Cloud-Versprechen.
Ein Bericht von Sebastian Grüner

Cloud-Ausfall: Eine AWS-Region als Single Point of Failure
Artikel
  1. Ampelkoalition: Das Verkehrsministerium wird zum Digitalministerium
    Ampelkoalition
    Das Verkehrsministerium wird zum Digitalministerium

    Aus dem geplanten Ministerium für Verkehr und Digitales wird ein Ministerium für Digitales und Verkehr. Minister Wissing erhält zusätzliche Kompetenzen.

  2. Bundesnetzagentur: 30 Messungen an drei unterschiedlichen Kalendertagen
    Bundesnetzagentur
    30 Messungen an drei unterschiedlichen Kalendertagen

    Die Bundesnetzagentur hat festgelegt, wann der Netzbetreiber/Provider den Vertrag nicht erfüllt. Es muss viel gemessen werden.

  3. Euro NCAP: Renault Zoe mit katastrophalem Crash-Ergebnis
    Euro NCAP
    Renault Zoe mit katastrophalem Crash-Ergebnis

    Mit dem Renault Zoe sollte man keinen Unfall bauen. Im Euro-NCAP-Crashtest erhielt das Elektroauto null Sterne.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Acer-Monitore zu Bestpreisen (u. a. 27" FHD 165Hz OC 199€) • Kingston PCIe-SSD 1TB 69,90€ & 2TB 174,90€ • Samsung Smartphones & Watches günstiger • Saturn: Xiaomi Redmi Note 9 Pro 128GB 199€ • Alternate (u. a. Razer Opus Headset 69,99€) • Release: Halo Infinite 68,99€ [Werbung]
    •  /