Abo
  • Services:
Anzeige

Webcrawler der Internet-Archive-Macher als Open Source

Heritrix ist erweiterbar und unter der LGPL-Lizenz veröffentlicht

Die Betreiber des Internet Archives, die unter anderem die Wayback-Engine betreiben, haben einen Open-Source-Webcrawler unter der LGPL-Lizenz (GNU Lesser Public license) veröffentlicht. Das unter Java implementierte Archivierungssystem für Websites trägt den Namen Heritrix.

Anzeige

Heritrix berücksichtigt die von Webmastern eingerichteteten robots.txt-Beschränkungen und META-Tags für Robots. Der Crawler nutzt das Java Runtime Environment 1.4.

Das System wurde bisher nur unter Linux getestet. Die Macher wollen in Zukunft aber eventuell auch noch andere Plattformen unterstützen. Neben einer umfangreichen Dokumentation wurden zwei Mailinglisten eingerichtet, die Entwicklern helfen sollen, auf Basis von Heritrix eigene Anwendungen zu erstellen.


eye home zur Startseite
Gunnar 08. Jan 2004

"nur unter linux getestet..." wer hätte das vor ein paar jahren gedacht... -gunnar



Anzeige

Stellenmarkt
  1. über Duerenhoff GmbH, Stuttgart
  2. Murrplastik Systemtechnik GmbH, Oppenweiler bei Stuttgart
  3. Robert Bosch GmbH, Stuttgart-Feuerbach
  4. Robert Bosch GmbH, Leonberg


Anzeige
Spiele-Angebote
  1. (-3%) 33,99€
  2. 10,99€
  3. (-8%) 45,99€

Folgen Sie uns
       


  1. HTTPS

    Fritzbox bekommt Let's Encrypt-Support und verrät Hostnamen

  2. Antec P110 Silent

    Gedämmter Midi-Tower hat austauschbare Staubfilter

  3. Pilotprojekt am Südkreuz

    De Maizière plant breiten Einsatz von Gesichtserkennung

  4. Spielebranche

    WW 2 und Battlefront 2 gewinnen im November-Kaufrausch

  5. Bauern

    Deutlich über 80 Prozent wollen FTTH

  6. Linux

    Bolt bringt Thunderbolt-3-Security für Linux

  7. Streit mit Bundesnetzagentur

    Telekom droht mit Ende von kostenlosem Stream On

  8. FTTH

    Bauern am Glasfaserpflug arbeiten mit Netzbetreibern

  9. BGP-Hijacking

    Traffic von Google, Facebook & Co. über Russland umgeleitet

  10. 360-Grad-Kameras im Vergleich

    Alles so schön rund hier



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
E-Ticket Deutschland bei der BVG: Bewegungspunkt am Straßenstrich
E-Ticket Deutschland bei der BVG
Bewegungspunkt am Straßenstrich
  1. Handy-Ticket in Berlin BVG will Check-in/Be-out-System in Bussen testen
  2. VBB Schwarzfahrer trotz Handy-Ticket

LG 32UD99-W im Test: Monitor mit beeindruckendem Bild - trotz unausgereiftem HDR
LG 32UD99-W im Test
Monitor mit beeindruckendem Bild - trotz unausgereiftem HDR
  1. Android-Updates Krack-Patches für Android, aber nicht für Pixel-Telefone
  2. Check Point LGs smarter Staubsauger lässt sich heimlich fernsteuern

Vorratsdatenspeicherung: Die Groko funktioniert schon wieder
Vorratsdatenspeicherung
Die Groko funktioniert schon wieder
  1. Dieselgipfel Regierung fördert Elektrobusse mit 80 Prozent
  2. Gutachten Quote für E-Autos und Stop der Diesel-Subventionen gefordert
  3. Sackgasse EU-Industriekommissarin sieht Diesel am Ende

  1. Re: J.J. Abrams und seine Liebe zur Mystery-Box ...

    ArcherV | 08:39

  2. Weil die 700.000 exklusiven Neutralitätsbrecher...

    Ach | 08:37

  3. Re: anycast und mithören nicht so einfach...

    LordGurke | 08:34

  4. So werden alle Kurzsichtig

    max123 | 08:29

  5. Re: Technisch gesehen

    LordGurke | 08:29


  1. 17:47

  2. 17:38

  3. 16:17

  4. 15:50

  5. 15:25

  6. 15:04

  7. 14:22

  8. 13:00


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel