Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Scientific Programmer (m/w)
    CeMM Research Center for Molecular Medicine of the Austrian Academy of Sciences, Vienna (Austria)
  2. Junior BI- / Datenbankspezialist (m/w)
    UVEX WINTER HOLDING GmbH & Co. KG, Fürth
  3. Webentwickler (m/w) IT
    Walbusch Walter Busch GmbH & Co. KG, Solingen
  4. Applikationsingenieur (m/w) für Mobilfunk-Messungen und Treibersoftware
    ROHDE & SCHWARZ GmbH & Co. KG, München

 

Detailsuche


Spiele-Angebote
  1. GTA V [PC Download]
    53,99€ (Vorbesteller-Preisgarantie) USK 18 - Release 14.04.
  2. TOPSELLER: Titanfall Origin-Code
    9,99€
  3. GTA V (PC)
    59,00€ (Vorbesteller-Preisgarantie) USK 18 - Release 14.04.

 

Weitere Angebote


Folgen Sie uns
       


  1. Smartwatch

    Pebble sammelt über 20 Millionen US-Dollar ein

  2. Manfrotto

    Winziges LED-Dauerlicht für Filmer und Fotografen

  3. Test Woolfe

    Rotkäppchen schwingt die Axt

  4. Palinopsia Bug

    Das Gedächtnis der Grafikkarte auslesen

  5. Die Woche im Video

    Galaxy S6 gegen One (M9), selbstbremsende Autos und Bastelei

  6. Xbox One

    Firmware-Update bringt Sprachnachrichten auf die Konsole

  7. Elektromobilitätsgesetz

    Bundesrat gibt Elektroautos mehr Freiheiten

  8. 2160p60

    Youtube startet fordernde 60-fps-Videos in scharfem 4K

  9. Nuclide

    Facebook stellt quelloffene IDE vor

  10. Test Borderlands Handsome Collection

    Pandora und Mond etwas schöner



Haben wir etwas übersehen?

E-Mail an news@golem.de



Gnome 3.16 angesehen: "Tod der Nachrichtenleiste"
Gnome 3.16 angesehen
"Tod der Nachrichtenleiste"
  1. Server-Technik Gnome erstellt App-Sandboxes
  2. Display-Server Volle Wayland-Unterstützung für Gnome noch dieses Jahr
  3. Linux Gnome-Werkzeug soll für bessere Akkulaufzeiten sorgen

Netzneutralität: Autonome Autos brauchen Netz und Mikrochips sind knusprig
Netzneutralität
Autonome Autos brauchen Netz und Mikrochips sind knusprig
  1. Netzneutralität FCC verbietet Überholspuren im Netz
  2. Netzneutralität Was die FCC-Pläne für das Internet bedeuten
  3. Deregulierung FCC soll weitreichende Netzneutralität durchsetzen

Bloodborne im Test: Das Festival der tausend Tode
Bloodborne im Test
Das Festival der tausend Tode
  1. Bloodborne Patch und PC-Petition
  2. Bloodborne angespielt Angsthase oder Nichtsnutz

  1. Re: 3 LED's = 60 Euro

    gs2 | 17:04

  2. Re: Transpiler

    Schnarchnase | 17:00

  3. Re: Herunterladen und mit VLC abspielen.

    Atalanttore | 16:57

  4. Hack n Slay. Ähnliche Games pls

    User2 | 16:53

  5. Mir hats gefallen ;D

    geeky | 16:52


  1. 15:57

  2. 15:45

  3. 15:03

  4. 10:55

  5. 09:02

  6. 17:09

  7. 15:52

  8. 15:22


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel