• IT-Karriere:
  • Services:

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Artikel veröffentlicht am ,
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Stellenmarkt
  1. Landkreis Stade, Stade
  2. STAHLGRUBER GmbH, Poing bei München

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. (-58%) 21,00€
  2. 3,74€
  3. 3,99€
  4. 4,99€

wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?


Folgen Sie uns
       


Ausblendbare Kamera von Oneplus - Hands on (CES 2020)

Das Concept One ist das erste Konzept-Smartphone von Oneplus - und dient dazu, die ausblendbare Kamera zu demonstrieren.

Ausblendbare Kamera von Oneplus - Hands on (CES 2020) Video aufrufen
Huawei-Gründer Ren Zhengfei: Der Milliardär, der im Regen auf ein Taxi wartet
Huawei-Gründer Ren Zhengfei
Der Milliardär, der im Regen auf ein Taxi wartet

Huawei steht derzeit im Zentrum des Medieninteresses - und so wird auch mehr über den Gründer und Chef Ren Zhengfei bekannt, der sich bisher so gut wie möglich aus der Öffentlichkeit ferngehalten hatte.
Ein Porträt von Achim Sawall

  1. US-Handelsboykott Ausnahmeregelung für Geschäfte mit Huawei erneut verlängert
  2. "Eindeutiger Beweis" US-Regierung holt ihre "Smoking Gun" gegen Huawei heraus
  3. 5G Unionsfraktion lehnt Verbot von Huawei einstimmig ab

Gebrauchtwagen: Was beim Kauf eines gebrauchten Elektroautos wichtig ist
Gebrauchtwagen
Was beim Kauf eines gebrauchten Elektroautos wichtig ist

Noch steht der Markt für gebrauchte Teslas und andere Elektroautos am Anfang der Entwicklung. Für eine verlässliche Wertermittlung benötigen Käufer ein Akku-Zertifikat. Das bieten private Verkaufsberater an. Ein österreichisches Startup will die Idee groß rausbringen.
Ein Bericht von Dirk Kunde

  1. Elektroautos EU-Kommission billigt höheren Umweltbonus
  2. Elektroauto Jaguar muss I-Pace-Produktion mangels Akkus pausieren
  3. 900 Volt Lucid stellt Serienversion seines Luxus-Elektroautos vor

Landwirtschaft: Ohne Daten geht nichts mehr auf dem Acker
Landwirtschaft
Ohne Daten geht nichts mehr auf dem Acker

5G ist derzeit noch nicht an jeder Milchkanne verfügbar. Das ist schlecht für die Landwirte. Denn in ihrer Branche ist die Digitalisierung schon weit fortgeschritten, sie sind auf Internet auf dem Feld angewiesen.
Ein Bericht von Werner Pluta

  1. Akademik Lomonossow Russisches Atomkraftwerk wird bald nach Sibirien geschleppt
  2. CO2 Wie Kohlebergwerke zum Klimaschutz beitragen können
  3. Raumfahrt Forscher testen Aerogel als Baumaterial für Mars-Gewächshaus

    •  /