• IT-Karriere:
  • Services:

Webcrawler der Internet-Archive-Macher als Open Source

Heritrix ist erweiterbar und unter der LGPL-Lizenz veröffentlicht

Die Betreiber des Internet Archives, die unter anderem die Wayback-Engine betreiben, haben einen Open-Source-Webcrawler unter der LGPL-Lizenz (GNU Lesser Public license) veröffentlicht. Das unter Java implementierte Archivierungssystem für Websites trägt den Namen Heritrix.

Artikel veröffentlicht am ,

Heritrix berücksichtigt die von Webmastern eingerichteteten robots.txt-Beschränkungen und META-Tags für Robots. Der Crawler nutzt das Java Runtime Environment 1.4.

Das System wurde bisher nur unter Linux getestet. Die Macher wollen in Zukunft aber eventuell auch noch andere Plattformen unterstützen. Neben einer umfangreichen Dokumentation wurden zwei Mailinglisten eingerichtet, die Entwicklern helfen sollen, auf Basis von Heritrix eigene Anwendungen zu erstellen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. 37,49€
  2. (-10%) 53,99€
  3. 14,99€
  4. 9,49€

Gunnar 08. Jan 2004

"nur unter linux getestet..." wer hätte das vor ein paar jahren gedacht... -gunnar


Folgen Sie uns
       


Kuschelroboter Lovot angesehen (CES 2020)

Lovot ist ein kleiner Roboter, der bei seinem Besitzer für gute Stimmung sorgen soll. Er lässt sich streicheln und reagiert mit freudigen Geräuschen.

Kuschelroboter Lovot angesehen (CES 2020) Video aufrufen
IT-Gehälter: Je nach Branche bis zu 1.000 Euro mehr
IT-Gehälter
Je nach Branche bis zu 1.000 Euro mehr

Wechselt ein ITler in eine andere Branche, sind auf dem gleichen Posten bis zu 1.000 Euro pro Monat mehr drin. Welche Industrien die höchsten und welche die niedrigsten Gehälter zahlen: Wir haben die Antworten auf diese Fragen - auch darauf, wie sich die Einkommen 2020 entwickeln werden.
Von Peter Ilg

  1. Softwareentwickler Der Fachkräftemangel zeigt sich nicht an den Gehältern

Digitalisierung: Aber das Faxgerät muss bleiben!
Digitalisierung
Aber das Faxgerät muss bleiben!

"Auf digitale Prozesse umstellen" ist leicht gesagt, aber in vielen Firmen ein komplexes Unterfangen. Viele Mitarbeiter und Chefs lieben ihre analogen Arbeitsmethoden und fürchten Veränderungen. Andere wiederum digitalisieren ohne Sinn und Verstand und blasen ihre Prozesse unnötig auf.
Ein Erfahrungsbericht von Marvin Engel

  1. Arbeitswelt SAP-Chef kritisiert fehlende Digitalisierung und Angst
  2. Deutscher Städte- und Gemeindebund "Raus aus der analogen Komfortzone"
  3. Digitalisierungs-Tarifvertrag Regelungen für Erreichbarkeit, Homeoffice und KI kommen

Elektroautos in Tiefgaragen: Was tun, wenn's brennt?
Elektroautos in Tiefgaragen
Was tun, wenn's brennt?

Was kann passieren, wenn Elektroautos in einer Tiefgarage brennen? Während Brandschutzexperten dringend mehr Forschung fordern und ein Parkverbot nicht ausschließen, wollen die Bundesländer die Garagenverordnung verschärfen.
Eine Analyse von Friedhelm Greis

  1. Mercedes E-Econic Daimler elektrifiziert den Müllwagen
  2. Umweltprämie für Elektroautos Regierung verzögert Prüfung durch EU-Kommission
  3. Intransparente Preise Verbraucherschützer mahnen Ladenetzbetreiber New Motion ab

    •  /