Abo
  • IT-Karriere:

Webcrawler der Internet-Archive-Macher als Open Source

Heritrix ist erweiterbar und unter der LGPL-Lizenz veröffentlicht

Die Betreiber des Internet Archives, die unter anderem die Wayback-Engine betreiben, haben einen Open-Source-Webcrawler unter der LGPL-Lizenz (GNU Lesser Public license) veröffentlicht. Das unter Java implementierte Archivierungssystem für Websites trägt den Namen Heritrix.

Artikel veröffentlicht am ,

Heritrix berücksichtigt die von Webmastern eingerichteteten robots.txt-Beschränkungen und META-Tags für Robots. Der Crawler nutzt das Java Runtime Environment 1.4.

Das System wurde bisher nur unter Linux getestet. Die Macher wollen in Zukunft aber eventuell auch noch andere Plattformen unterstützen. Neben einer umfangreichen Dokumentation wurden zwei Mailinglisten eingerichtet, die Entwicklern helfen sollen, auf Basis von Heritrix eigene Anwendungen zu erstellen.



Anzeige
Top-Angebote
  1. (u. a. Call of Duty: Modern Warfare für 52,99€, Pillars of Eternity II für 16,99€, Devil May...
  2. (u. a. Aorus Pro für 219,90€, Aorus Pro WiFi für 229,90€, Aorus Elite für 189,90€)
  3. (u. a. Sandisk SSD Plus 1 TB für 88,00€, WD Elements 1,5-TB-HDD für 55,00€, Seagate Expansion...
  4. (u. a. Kingston A400 2-TB-SSD für 159,90€, AMD Upgrade-Bundle mit Radeon RX 590 + Ryzen 7...

Gunnar 08. Jan 2004

"nur unter linux getestet..." wer hätte das vor ein paar jahren gedacht... -gunnar


Folgen Sie uns
       


Razer Blade Stealth 13 mit GTX 1650 - Hands on (Ifa 2019)

Von außen ist das Razer Blade Stealth wieder einmal unscheinbar. Das macht das Gerät für uns besonders, da darin potente Hardware steckt, etwa eine Geforce GTX 1650.

Razer Blade Stealth 13 mit GTX 1650 - Hands on (Ifa 2019) Video aufrufen
Vision 5 und Epos 2 im Hands on: Tolinos neue E-Book-Reader-Oberklasse ist gelungen
Vision 5 und Epos 2 im Hands on
Tolinos neue E-Book-Reader-Oberklasse ist gelungen

Die Tolino-Allianz bringt zwei neue E-Book-Reader der Oberklasse auf den Markt. Der Vision 5 hat ein 7 Zoll großes Display, beim besonders dünnen Epos 2 ist es ein 8-Zoll-Display. Es gibt typische Oberklasse-Ausstattung - und noch etwas mehr.
Ein Hands on von Ingo Pakalski

  1. Tolino Page 2 Günstiger E-Book-Reader erhält Displaybeleuchtung

Gemini Man: Überflüssiges Klonexperiment
Gemini Man
Überflüssiges Klonexperiment

Am 3. Oktober kommt mit Gemini Man ein ambitioniertes Projekt in die deutschen Kinos: Mit HFR-Projektion in 60 Bildern pro Sekunde und Will Smith, der gegen sein digital verjüngtes Ebenbild kämpft, betreibt der Actionfilm technisch viel Aufwand. Das Seherlebnis ist jedoch bestenfalls komisch.
Von Daniel Pook

  1. Filmkritik Apollo 11 Echte Mondlandung als packende Kinozeitreise

Mädchen und IT: Fehler im System
Mädchen und IT
Fehler im System

Bis zu einem gewissen Alter sind Jungen und Mädchen gleichermaßen an Technik interessiert. Wenn es dann aber um die Berufswahl geht, entscheiden sich immer noch viel mehr junge Männer als Frauen für die IT. Ein wichtiger Grund dafür ist in der Schule zu suchen.
Von Valerie Lux

  1. IT an Schulen Intelligenter Stift zeichnet Handschrift von Schülern auf
  2. 5G Milliardenlücke beim Digitalpakt Schule droht
  3. Medienkompetenz Was, Ihr Kind kann nicht programmieren?

    •  /