Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. CRM Entwickler / Administrator (m/w)
    Nemetschek Allplan Systems GmbH, München
  2. Senior Business Analyst - Simulation & Systems Engineering, IT Services (m/w)
    Bombardier Transportation, Berlin
  3. Mitarbeiter / Mitarbeiterin für IT-Systemadministration
    Bundesvereinigung Lebenshilfe e. V., Marburg
  4. IT-Anforderungs- und Projektmanager (m/w)
    Stadtwerke München GmbH, München

 

Detailsuche


Folgen Sie uns
       


  1. Panasonic Lumix DMC-LX100 im Test

    Kamera zum Begeistern und zum Verzweifeln

  2. Kanzlerhandy

    Bundesanwaltschaft will NSA-Ermittlungsverfahren einstellen

  3. Internetsuche

    EU-Parlamentarier erwägen Google-Aufspaltung

  4. 15 Jahre Unreal Tournament

    Spiel, Bot und Sieg

  5. Inmarsat und Alcatel Lucent

    Internetzugang im Flugzeug mit 75 MBit/s

  6. Managed Apps

    Unternehmen können App-Store von Windows 10 anpassen

  7. Elektronikdiscounter

    Wie Preisvergleichsdienste ausgehebelt werden

  8. Open Data

    Cern befreit LHC-Kollisionsdaten

  9. Multimediabibliothek

    FFmpeg dank Debian wieder in Ubuntu

  10. Valve Software

    Neue Richtlinien für Early Access



Haben wir etwas übersehen?

E-Mail an news@golem.de



Zbox Pico im Test: Der Taschenrechner, der fast alles kann
Zbox Pico im Test
Der Taschenrechner, der fast alles kann

SE Android: In Lollipop wird das Rooten schwer
SE Android
In Lollipop wird das Rooten schwer
  1. Lollipop Android 5.0 für deutsche Nexus-Geräte ist da
  2. Android 5.0 Lollipop wird für Nexus-Geräte verteilt
  3. Android 5.0 Aktuelles Moto G ist erstes Smartphone mit Lollipop-Update

Battlefield Hardline angespielt: New Action Hero
Battlefield Hardline angespielt
New Action Hero
  1. Videostreaming Youtube startet 60-fps-Wiedergabe
  2. Electronic Arts Business-Ergebnisse und Battlefield-Termine
  3. Dreijahresplan EA will Spielervertrauen zurückgewinnen

    •  / 
    Zum Artikel