Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Ingenieur (m/w) Informationstechnik
    Netze BW GmbH, Stuttgart
  2. SAP Business Process Expert (m/w)
    Brüel & Kjaer Vibro GmbH, Darmstadt
  3. IT-Projektleiter/in (SAP)
    Landeshauptstadt München, München
  4. Consultant Software Asset Management (SAM) für Microsoft (m/w)
    FRITZ & MACZIOL group, deutschlandweit

 

Detailsuche


Folgen Sie uns
       


  1. Gratiseinwilligung für Google

    Verlage knicken beim Leistungsschutzrecht ein

  2. John Riccitiello

    Ex-EA-Chef ist neuer Boss von Unity Technologies

  3. Android Wear

    Moto 360 und G Watch erhalten Update

  4. Digitale Dividende II

    Bundesnetzagentur will DVB-T ab April 2015 beenden

  5. Security

    Gefährliche Schwachstellen im UEFI-Bios

  6. Broadcom

    Chips für Router mit G.Fast sind fertig

  7. Canon Filmkamera

    EOS C100 Mark II mit Dual-Pixel-AF und besserem Sucher

  8. Samsung

    Galaxy-Geräte mit Knox für US-Regierung zertifiziert

  9. Sammelkarten

    Hearthstone erst 2015 auf Smartphones

  10. Netzangriffe

    DDoS-Botnetz weitet sich ungebremst aus



Haben wir etwas übersehen?

E-Mail an news@golem.de



Sony Alpha 7S im Test: Vollformater sieht auch bei Dunkelheit nicht schwarz
Sony Alpha 7S im Test
Vollformater sieht auch bei Dunkelheit nicht schwarz
  1. FPS 1000 Kamera soll 18.500 Frames pro Sekunde aufnehmen
  2. Bericht Sony will 4K-Superzoom-Kamera entwickeln
  3. Minikamera Ai-Ball Die WLAN-Kamera aus dem Überraschungsei

IT-Gipfel 2014: De Maizière nennt De-Mail "nicht ganz zufriedenstellend"
IT-Gipfel 2014
De Maizière nennt De-Mail "nicht ganz zufriedenstellend"
  1. Digitale Verwaltung 2020 E-Mail soll Briefe und Amtsbesuche ersetzen
  2. Digitale Agenda Ein Papier, das alle enttäuscht
  3. Webmail Web.de kritisiert langsame De-Mail-Einführung der Regierung

Retro-Netzwerk: Der Tilde.Club erstellt Webseiten wie in den Neunzigern
Retro-Netzwerk
Der Tilde.Club erstellt Webseiten wie in den Neunzigern

    •  / 
    Zum Artikel