Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. IT-Techniker (m/w)
    Dänisches Bettenlager GmbH & Co. KG, Handewitt (bei Flensburg)
  2. Mobile Developer - Andriod / iOS (m/w)
    PAYBACK GmbH, München
  3. Systementwickler (m/w) Connected Mobile Services
    GIGATRONIK Köln GmbH, Köln
  4. SAP-Experte/-in (SD/MM) Mitarbeit Projektleitung mit Perspektive
    J. Bauer GmbH & Co. KG, Wasserburg/Inn

 

Detailsuche


Folgen Sie uns
       


  1. Air Food One

    Post liefert online bestelltes Lufthansa-Essen nach Hause

  2. Threshold

    Microsoft China scherzt über Startmenü in Windows 9

  3. Lieferdrohnen

    Nasa entwickelt Leitsystem für Flugroboter

  4. Radeon R9 285

    Die schnellste Grafikkarte mit nur zwei 6-Pol-Anschlüssen

  5. Bitcoin

    Charles Shrem will sich schuldig bekennen

  6. Mozilla

    Firefox 32 verbessert Werkzeuge und Leistung

  7. Shiro Games

    Evoland 2 soll Hommage an Rollenspiel-Genre werden

  8. Gegen Vectoring

    Tele Columbus erhöht auf 150 MBit/s

  9. Libdrm

    Mesa bekommt erste Android-Unterstützung

  10. Die Sims 4

    Erster Patch macht Zäune zu Zäunen



Haben wir etwas übersehen?

E-Mail an news@golem.de



Qnap QGenie im Test: Netzwerkspeicher fehlt's an Speicher
Qnap QGenie im Test
Netzwerkspeicher fehlt's an Speicher
  1. Qnap QGenie NAS-System für die Hosentasche
  2. HS-251 Qnap beschleunigt lüfterloses NAS-System
  3. QNAP TS-EC1080 Pro Erweiterbares NAS-System im Tower mit mSATA-Plätzen

Sofia: Der fliegende Blick durch den Staub
Sofia
Der fliegende Blick durch den Staub
  1. Bioelektronik Pilze sind die besten Zellschnittstellen
  2. Teilchenbeschleuniger China will Higgs-Fabrik bauen
  3. Wissenschaft Hören wie die Fliegen

Breitbandausbau: Netzbetreiber und Regierung schachern um Netzneutralität
Breitbandausbau
Netzbetreiber und Regierung schachern um Netzneutralität
  1. Mobiles Internet Roaming-Gebühren benachteiligen Grenzregionen
  2. Digitale Agenda Bitkom fordert komplette Nutzung des 700-Megahertz-Bandes
  3. Digitale Agenda Ein Papier, das alle enttäuscht

    •  / 
    Zum Artikel