Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Test Engineer (m/w)
    Haufe Gruppe, Freiburg im Breisgau
  2. SAP Functional Support FI CO (m/w)
    Faurecia Autositze GmbH, Stadthagen bei Hannover
  3. Spezialist/in Zeitwirtschaft
    Universitätsklinikum Bonn, Bonn
  4. Projektmanager/in Personalwesen Zeitwirtschaft
    Universitätsklinikum Bonn AöR, Bonn

Detailsuche


Hardware-Angebote
  1. DANK IOS-APP ANDROID WEAR JETZT AUCH IPHONE-KOMPATIBEL: LG Watch Urbane Smartwatch
    269,74€
  2. ARLT-Sale
    (Restposten, Rücksendungen und Gebrauchtware)
  3. TIPP: Alternate Schnäppchen Outlet
    (täglich neue Deals)

Weitere Angebote


Folgen Sie uns
       


  1. Hypervisor

    OpenBSD bekommt native Virtualisierung

  2. Streamingbox

    Amazon bereitet wohl neues Fire TV vor

  3. Elliptische Umlaufbahn

    Galileo-Satelliten werden für die Forschung eingesetzt

  4. King Art

    Die Zwerge stürmen Kickstarter

  5. Smart-TV-Betriebssysteme im Test

    Wenn sich Streaming wie Fernsehen anfühlt

  6. Gear S2

    Samsung stellt runde Smartwatches vor

  7. The Swarm

    Brite hebt mit Multicopter ab

  8. Elite Bundle

    Xbox One startet ein bisschen schneller

  9. Spionage

    49 neue Module für die Schnüffelsoftware Regin entdeckt

  10. Primove in der Hauptstadt

    Berlin hat wieder eine E-Bus-Linie



Haben wir etwas übersehen?

E-Mail an news@golem.de



Windows 95 im Test: Endlich lange Dateinamen!
Windows 95 im Test
Endlich lange Dateinamen!
  1. Tool Microsoft Snip erzeugt Screenshots mit Animationen und Sprachmemos
  2. Microsoft Neuer Insider-Build von Windows 10
  3. Vor dem Start von Windows 10 Steigender Marktanteil für Windows 7

Windows 10 im Upgrade-Test: Der Umstieg von Windows 7 auf 10 lohnt sich!
Windows 10 im Upgrade-Test
Der Umstieg von Windows 7 auf 10 lohnt sich!
  1. Windows 10 Erfolgreicher als das angeblich erfolgreiche Windows 8
  2. Windows 10 Updates lassen sich unter Umständen 12 Monate aufschieben
  3. Windows-10-Updates Microsoft intensiviert die Geheimniskrämerei

Game Writer: Warum Quereinsteiger selten gute Storys für Spiele schreiben
Game Writer
Warum Quereinsteiger selten gute Storys für Spiele schreiben
  1. This War of Mine Krieg mit The Little Ones auf Konsole
  2. Swapster Deutsche Börse plant Handelsplattform für Spieler
  3. Ninja Theory Hellblade und eine Heldin mit Trauma

  1. Re: Selbst SSD einbauen?

    textless | 14:09

  2. Re: Fehlt nur noch Windows Phone

    Trollversteher | 14:08

  3. Re: Ja, ja, STEAM ist die Zukunft ...

    deadeye | 14:07

  4. Re: Belastungstest durch IFA?

    layer8 | 14:07

  5. Re: Tizen & WebOS Sackgasse...

    dabbes | 14:06


  1. 13:28

  2. 13:15

  3. 13:13

  4. 12:54

  5. 12:03

  6. 11:59

  7. 11:12

  8. 11:11


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel