Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Manager (m/w) Softwareentwicklung
    WTS Group AG Steuerberatungsgesellschaft, Erlangen (Raum Nürnberg)
  2. Inhouse Spezialist SAP (m/w)
    ROTA YOKOGAWA GmbH & Co. KG, Wehr am Rhein
  3. Entwicklungsingenieur (m/w) Software
    EBE Elektro-Bau-Elemente GmbH, Leinfelden-Echterdingen bei Stuttgart
  4. Produktmanager für digitales Entertainment / Product Owner (m/w)
    Media-Saturn Deutschland GmbH, Ingolstadt

 

Detailsuche


Folgen Sie uns
       


  1. Nocomentator

    Filterkiste blendet Sportkommentare aus

  2. Gameworks

    Nvidia rollt den Rasen aus

  3. Rolling-Release

    Opensuse Factory und Tumbleweed werden zusammengeführt

  4. Project Ara

    Google will nicht nur das Smartphone neu erfinden

  5. Wildstar

    NC Soft entlässt Mitarbeiter

  6. Mozilla

    Einfache Web-Apps auf dem Smartphone erstellen

  7. Civ Beyond Earth Benchmark

    Schneller, ohne Mikroruckler und geringere Latenz mit Mantle

  8. Allview X2 Soul mini

    Sehr dünnes Smartphone im Alu-Gehäuse für 200 Euro

  9. Toybox Turbos

    Codemasters veranstaltet Rennen auf dem Frühstückstisch

  10. Xamarin

    C# dank Mono für die Unreal Engine 4



Haben wir etwas übersehen?

E-Mail an news@golem.de



Schenker XMG P505 im Test: Flaches Gaming-Notebook mit überraschender GTX 970M
Schenker XMG P505 im Test
Flaches Gaming-Notebook mit überraschender GTX 970M
  1. Getac S400-S3 Das Ruggedized-Notebook mit SSD-Heizung
  2. Geforce GTX 980M und 970M Maxwell verdoppelt Spielgeschwindigkeit von Notebooks
  3. Toughbook CF-LX3 Panasonics leichtes Notebook mit der Lizenz zum Runterfallen

Legale Streaming-Anbieter im Test: Netflix allein macht auch nicht glücklich
Legale Streaming-Anbieter im Test
Netflix allein macht auch nicht glücklich
  1. Netflix-Statistik Die Schweiz streamt am schnellsten
  2. Deutsche Telekom Entertain ab dem 14. Oktober mit Netflix
  3. HTML5-Videostreaming Netflix bietet volle Linux-Unterstützung

Windows 10 Technical Preview ausprobiert: Die Sonne scheint aufs Startmenü
Windows 10 Technical Preview ausprobiert
Die Sonne scheint aufs Startmenü
  1. Build 9860 Windows 10 jetzt mit Info-Center für Benachrichtigungen
  2. Microsoft Neue Fensteranimationen für Windows 10
  3. Windows 10 Microsoft will nicht an das unbeliebte Windows 8 erinnern

    •  / 
    Zum Artikel