Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Systemadministrator/in Schwerpunkt E-Mail und DNS
    Zweckverband Kommunale Informationsverarbeitung Baden-Franken, Heidelberg
  2. Lead Digital Program Manager (m/w)
    CONDÉ NAST VERLAG GMBH, München
  3. Java-Entwickler (m/w)
    Avision GmbH, Oberhaching bei München
  4. SAP Spezialist / Consultant FI/CO (m/w)
    Endress+Hauser InfoServe GmbH+Co. KG, Freiburg im Breisgau

 

Detailsuche


Hardware-Angebote
  1. Samsung Ultra-HD-Monitor U28D590D
    339,00€ inkl. Versand über Redcoon
  2. PCGH-Supreme-PC GTX980-Edition
    (Core i7-4790K + Geforce GTX 980)
  3. Crucial MX100 256GB zum Bestpreis bei Redcoon
    95,50€

 

Weitere Angebote


Folgen Sie uns
       


  1. Kontakte

    Siri verrät iPhone-Besitzer

  2. Apple

    OS X 10.10.2 löst nicht alle WLAN-Probleme

  3. Drogen und Terror

    DJI baut Flugverbotszonen in Drohnen ein

  4. Quartalsbericht

    Facebook gibt 2,7 Milliarden US-Dollar aus

  5. Sony

    Spotify ersetzt Music Unlimited auf der Playstation

  6. Spionage

    Kanadischer Geheimdienst überwacht Sharehoster

  7. Torrent

    The Pirate Bay schafft kein echtes Comeback

  8. Kepler-444

    Astronomen entdecken uraltes Sonnensystem

  9. Mobilsparte

    Sony streicht weitere 1.000 Stellen

  10. Yahoo

    Alibaba und die 40 Milliarden



Haben wir etwas übersehen?

E-Mail an news@golem.de



Neues Betriebssystem: Microsoft nennt viele neue Details zu Windows 10
Neues Betriebssystem
Microsoft nennt viele neue Details zu Windows 10
  1. Technical Preview mit Cortana Windows 10 Build 9926 steht zum Download bereit
  2. Microsoft Nicht alle Windows-Phone-Smartphones erhalten Windows 10
  3. Surface Hub Microsoft zeigt Konferenzsystem mit Digitizer und Windows 10

Spionage oder Imageaufwertung?: Deutsche Behörden nennen es Social Media Intelligence
Spionage oder Imageaufwertung?
Deutsche Behörden nennen es Social Media Intelligence
  1. Facebook Lite ausprobiert Facebooks abgespeckter Android-Client
  2. Ausfall von Internetdiensten Lizard Squad will's gewesen sein, Facebook sagt nein
  3. Soziales Netzwerk Justizministerium kritisiert Facebooks neue AGB

Hör-Spiele: Games ohne Grafik
Hör-Spiele
Games ohne Grafik

    •  / 
    Zum Artikel