• IT-Karriere:
  • Services:

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Artikel veröffentlicht am ,
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Stellenmarkt
  1. BASF Digital Solutions GmbH, Ludwigshafen
  2. Stadtreinigung Hamburg Anstalt des öffentlichen Rechts, Hamburg

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Top-Angebote
  1. 1.749€

wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?


Folgen Sie uns
       


E-Book-Reader Pocketbook Color im Test

Das Pocketbook Color ist der erste E-Book-Reader mit einem Farbbildschirm. Wir haben uns das Gerät angeschaut.

E-Book-Reader Pocketbook Color im Test Video aufrufen
Vivo X51 im Test: Vivos gelungener Deutschland-Start hat eine Gimbal-Kamera
Vivo X51 im Test
Vivos gelungener Deutschland-Start hat eine Gimbal-Kamera

Das Vivo X51 hat eine gute Kamera mit starker Bildstabilisierung und eine vorbildlich zurückhaltende Android-Oberfläche. Der Startpreis in Deutschland könnte aber eine Herausforderung für den Hersteller sein.
Ein Test von Tobias Költzsch

  1. Software-Entwicklung Google veröffentlicht Android Studio 4.1
  2. Jetpack Compose Android bekommt neues UI-Framework
  3. Google Android bekommt lokale Sharing-Funktion

iPad Air 2020 im Test: Apples gute Alternative zum iPad Pro
iPad Air 2020 im Test
Apples gute Alternative zum iPad Pro

Das neue iPad Air sieht aus wie ein iPad Pro, unterstützt dasselbe Zubehör, kommt mit einem guten Display und reichlich Rechenleistung. Damit ist es eine ideale Alternative für Apples teuerstes Tablet, wie unser Test zeigt.
Ein Test von Tobias Költzsch

  1. Tablet Apple stellt neues iPad und iPad Air vor

Philips-Leuchten-Konfigurator im Test: Die schicke Leuchte aus dem 3D-Drucker
Philips-Leuchten-Konfigurator im Test
Die schicke Leuchte aus dem 3D-Drucker

Signify bietet mit Philips My Creation die Möglichkeit, eigene Leuchten zu kreieren. Diese werden im 3D-Drucker gefertigt - und sind von überraschend guter Qualität. Golem.de hat eine güldene Leuchte entworfen.
Ein Test von Tobias Költzsch

  1. Smarte Leuchten mit Kurzschluss Netzteil-Rückruf bei Philips Hue Outdoor
  2. Signify Neue Lampen, Leuchten und Lightstrips von Philips Hue
  3. Signify Neue Philips-Hue-Produkte vorgestellt

    •  /