Abo
  • IT-Karriere:

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Artikel veröffentlicht am ,
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Stellenmarkt
  1. Universität Passau, Passau
  2. Universitätsklinikum Münster, Münster

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.



Anzeige
Spiele-Angebote
  1. 51,99€
  2. 4,31€
  3. 4,56€
  4. (PC für 59,99€, PS4 für 69,99€ - Release am 13. September)

wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?


Folgen Sie uns
       


Hyundai Kona Elektro - Test

Das Elektro-SUV ist ein echter Langläufer.

Hyundai Kona Elektro - Test Video aufrufen
Acer Predator Thronos im Sit on: Der Nerd-Olymp
Acer Predator Thronos im Sit on
Der Nerd-Olymp

Ifa 2019 Ob wir es nun den eisernen Thron oder den Sitz der Götter nennen: Der Predator Thronos von Acer fällt auf dem Messestand des Herstellers schon auf. Golem.de konnte den skurrilen Stuhl ausprobieren. Er ist eines Gaming-Kellers würdig.
Ein Hands on von Oliver Nickel

  1. Nitro XV273X Acer baut ersten Monitor mit IPS-Panel und 240 Hz
  2. Acer Beim Predator-Notebook fährt die Tastatur wie eine Rampe aus
  3. Geräte für Mediengestalter Acer gibt Verfügbarkeit der Concept-D-Laptops bekannt

Langstreckentest im Audi E-Tron: 1.000 Meilen - wenig Säulen
Langstreckentest im Audi E-Tron
1.000 Meilen - wenig Säulen

Wie schlägt sich der Audi E-Tron auf einer 1.000-Meilen-Strecke durch zehn europäische Länder? Halten Elektroauto und Ladeinfrastruktur bereits, was die Hersteller versprechen?
Ein Erfahrungsbericht von Friedhelm Greis

  1. Umfrage Kunden fühlen sich vor Elektroautokauf schlecht beraten
  2. Batterieprobleme Auslieferung des e.Go verzögert sich
  3. ID Charger VW bringt günstige Wallbox auf den Markt

E-Auto: Byton zeigt die Produktionsversion des M-Byte
E-Auto
Byton zeigt die Produktionsversion des M-Byte

IAA 2019 Die Premiere von Byton in Frankfurt ist überraschend. Da der M-Byte im kommenden Jahr in China startet, ist die Vorstellung des produktionsreifen Elektroautos in Deutschland etwas Besonderes.
Ein Bericht von Dirk Kunde


      •  /