Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Business Intelligence Analyst Logistik (m/w)
    Home Shopping Europe GmbH, Ismaning (Raum München)
  2. Ingenieur (m/w) Materialflusssimulation / Intralogistiksysteme
    BEUMER Maschinenfabrik GmbH & Co. KG, Beckum (Raum Münster, Dortmund, Bielefeld)
  3. Senior Consultant Reporting (m/w)
    b.telligent, München und Zürich
  4. Senior Softwareentwickler (m/w) Java EE
    Faktor Zehn AG, München und Köln

 

Detailsuche


Folgen Sie uns
       


  1. Ubuntu 14.04 LTS im Test

    Canonical in der Konvergenz-Falle

  2. Überwachung

    Snowden befragt Putin in Fernsehinterview

  3. Bleichenbacher-Angriff

    TLS-Probleme in Java

  4. Cyanogenmod-Smartphone

    Oneplus One kann nur auf Einladung bestellt werden

  5. Heartbleed-Bug

    Strato und BSI warnen Nutzer

  6. Gameface Labs Mark IV

    Virtuelle, drahtlose Android-Realität mit 1440p

  7. Verbraucherwarnung

    Nokia ruft Netzteile des Lumia 2520 zurück

  8. Scannerdaten

    Landesdatenschützer wird wegen Zalando-Überwachung aktiv

  9. Test Wind-up Knight 2

    Endlos rennen bei Zeit- und Geldmangel

  10. Onlinehandel

    Wieder zwei Amazon-Standorte im Streik



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Owncloud: Dropbox-Alternative fürs Heimnetzwerk
Owncloud
Dropbox-Alternative fürs Heimnetzwerk

Kaputte Zertifikate durch Heartbleed und der NSA-Skandal: Es gibt genügend Gründe, seinen eigenen Cloud-Speicher einzurichten. Wir erklären mit Owncloud auf einem Raspberry Pi, wie das funktioniert.


Cortana im Test: Gebt Windows Phone eine Stimme
Cortana im Test
Gebt Windows Phone eine Stimme

Mit Windows Phone 8.1 bringt Microsoft nicht nur lange vermisste Funktionen wie die zentrale Benachrichtigungsübersicht auf das Smartphone, sondern auch die Sprachassistentin Cortana. Diese kann den Alltag tatsächlich erleichtern - und singen.

  1. Smartphones Nokia und HTC planen Updates auf Windows Phone 8.1
  2. Ativ SE Samsungs neues Smartphone mit Windows Phone
  3. Microsoft Internet Explorer 11 für Windows Phone

Wolfenstein The New Order: "Als Ein-Mann-Armee gegen eine Übermacht"
Wolfenstein The New Order
"Als Ein-Mann-Armee gegen eine Übermacht"

B. J. Blazkowicz muss demnächst wieder die Welt retten - in einem Wolfenstein aus Schweden. Im Interview hat Golem.de mit Andreas Öjerfors, dem Senior Gameplay Designer, über verbotene Inhalte, die KI und Filmvorbilder von The New Order gesprochen.

  1. The New Order Wolfenstein erscheint ohne inhaltliche Schnitte
  2. Wolfenstein angespielt Agent Blazkowicz in historischer Mission
  3. Bethesda Zugang zur Doom-Beta führt über Wolfenstein

    •  / 
    Zum Artikel