Mit WARC das Web archivieren

ISO legt neuen Standard zur Webarchivierung fest

Die ISO hat mit dem Dateiformat WARC alias "ISO 28500:20092" einen Standard zur Archivierung von Webseiten verabschiedet. Damit soll es einfach werden, die flüchtigen Informationen des Web für die Nachwelt verfügbar zu halten.

Artikel veröffentlicht am ,

Das Format WARC (Web ARChive) erlaubt es, mehrere Datenobjekte in einer langen Datei abzulegen. Damit sollen sich Applikationen entwickeln lassen, die Webinhalte abgrasen, verwalten, zur Verfügung stellen und deren Austausch ermöglichen. Die Standardisierung soll dafür sorgen, das Thema Archivierung breiter zu verankern.

Stellenmarkt
  1. Softwareentwickler C#, VB.Net (m/w/d) für unsere CNC-Schleifmaschinen
    Schütte Schleiftechnik GmbH, Köln
  2. IT Projekt Manager (m/w/d)
    Allianz Technology SE, Unterföhring (bei München)
Detailsuche

WARC ist eine Erweiterung des Dateiformats ARC, das vom Internet Archive seit 1996, aber auch von anderen Institutionen eingesetzt wird. Es wird genutzt, um die beim Crawlen des Webs anfallenden Daten samt der darin verlinkten Daten abzulegen. Anders als das ARC-Format erlaubt WARC auch die Aufzeichnung von HTTP-Request-Headern und beliebiger Metadaten. Zudem lassen sich Duplikate besser verwalten und Inhalte migrieren sowie segmentieren. Dabei soll WARC zur Speicherung beliebiger digitaler Inhalte geeignet sein, ganz gleich ob diese über HTTP oder ein anderes Protokoll erfasst wurden.

Einige Archivierungswerkzeuge unterstützen WARC bereits, darunter der Heritrix Crawler des Internet Archive, die WARC Tools, die Wayback Machine und NutchWAX.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Nach Datenleck
Softwareentwickler durch Privatdetektiv bedroht

Durch Zufall entdeckte ein Entwickler ein Datenleck, meldete es und informierte die Betroffenen. Kurze Zeit später stand ein Privatdetektiv vor seiner Tür.
Eine Recherche von Moritz Tremmel

Nach Datenleck: Softwareentwickler durch Privatdetektiv bedroht
Artikel
  1. Klage gegen Datenschutzaufsicht: Bundeskriminalamt weigert sich, Funkzellendaten zu löschen
    Klage gegen Datenschutzaufsicht
    Bundeskriminalamt weigert sich, Funkzellendaten zu löschen

    Das BKA will gesammelte Überwachungsdaten nicht löschen müssen. Deswegen klagt die Polizei gegen einen Bescheid des obersten Datenschützers.
    Eine Exklusivmeldung von Lennart Mühlenmeier

  2. Skins & Co: Alle Extras aus erstem Overwatch kosten rund 12.000 Euro
    Skins & Co
    Alle Extras aus erstem Overwatch kosten rund 12.000 Euro

    Wer in Overwatch 2 alle kosmetischen Extras des ersten Teils kaufen oder erspielen möchte, muss sehr viel Geld oder Zeit investieren.

  3. Erste Trucks für Pepsi: Teslas Lkw-Produktion fünf Jahre nach Vorstellung gestartet
    Erste Trucks für Pepsi
    Teslas Lkw-Produktion fünf Jahre nach Vorstellung gestartet

    Der Tesla Semi Truck wird fünf Jahre nach seiner Vorstellung nun gebaut. Die ersten Exemplare gehen an Pepsi.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • iPhone 14 Plus jetzt bestellbar • Günstig wie nie: Gigabyte RTX 3090 Ti 1.099€, Sapphire RX 6900 XT 834,99€, KF DDR5-5600 16GB 99,39€, Logitech Gaming-Maus 69,99€, MSI Curved 27" WQHD 165Hz 289€ • AMD Ryzen 7 5800X3D 429€ • NfS Unbound vorbestellbar • 3 Spiele für 49€ [Werbung]
    •  /