HTTP Archive: Wie sich das Web verändert

Mit dem HTTP Archive will Steve Souders ein historisches Archiv für das Web schaffen. Während das Internet Archive von Brewster Kahle die Inhalte des Webs archiviert, soll das HTTP Archive aufzeichnen, wie die Inhalte ausgeliefert wurden und werden.

31. März 2011 um 10:43 Uhr / Jens Ihlenfeld

Das HTTP Archive soll aufzeigen, wie sich die Leistungswerte des Webs im Zeitverlauf verändern. Dabei geht es um Daten wie die Größe von Webseiten, fehlgeschlagene Anfragen und die benutzten Techniken. Durch die regelmäßige Erfassung und Aufbereitung der Daten sollen Trends erkennbar werden. Das HTTP Archive soll Aufschluss darüber geben, wie das Web gebaut ist und zugleich als zentrale Anlaufstelle für Web-Performance-Forschung dienen.

Bild 1/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 2/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 3/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 4/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 5/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 6/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 7/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 8/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 9/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 10/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 11/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 12/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 13/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 14/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 15/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 16/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 17/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 18/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 19/20: Daten vom 29. März 2011 aus dem HTTP Archive

Bild 20/20: Daten vom 29. März 2011 aus dem HTTP Archive

Der Code des HTTP Archive ist Open Source, die gesammelten Daten können von jedem heruntergeladen werden. Erfasst werden derzeit rund 17.000 Webseiten, darunter die laut Alexa 10.000 am häufigsten besuchten Webseiten, die Seiten der größten Unternehmen ( Fortune 500 und Global 500 ) sowie die 10.000 laut Quantcast am häufigsten besuchten Websites.

Souders fragt diese Websites seit Oktober 2010 etwa alle zwei Tage ab und nutzt dabei Pat Meenans Webpagetest , um die Daten herunterzuladen und HAR-Dateien , Screenshots, Videos und andere Information zum Ladevorgang der Seite zu erzeugen. Daraus extrahiert das HTTP Archive dann die benötigen Daten, legt diese in einer Datenbank ab und erstellt einige statistische Auswertungen.

Diese geben unter anderem Auskunft darüber, wie groß der Trafficanteil der unterschiedlichen Inhaltstypen ist. Rund 60 Prozent entfallen auf Bilder, 16,5 Prozent auf Scripte und nur 4,6 Prozent auf HTML.

Auf rund 62 Prozent der analysierten Webseiten wird Google Analytics eingesetzt, auf 43 Prozent jQuery und auf 17 Prozent der Seiten ist Facebook eingebunden. Adobe Flash kommt auf 47 Prozent der Seiten zum Einsatz und bei den Bildformaten liegt JPEG leicht vor PNG, GIF ist abgeschlagen auf dem dritten Platz.

Darüber hinaus enthält das HTTP Archive auch Trendanalysen über die Zahl der Requests pro Seite und deren Gesamtgröße im Zeitverlauf. Dabei zeichnen sich unter anderen steigende Bildgrößen ab. Details dazu kann jeder in den gesammelten Daten selbst recherchieren.