Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Teamleiter/-in im Produkt- und Projektmanagement
    BörseGo AG, München
  2. IT-Systemadministrator (m/w)
    teliko GmbH, Limburg
  3. IT-Projektleiter (m/w) in der Softwareentwicklung
    ADAC e.V., München
  4. Anwendungs- / Softwareberater (m/w) für SAP PLM
    MAHLE International GmbH, Stuttgart

 

Detailsuche


Folgen Sie uns
       


  1. Bedeutungsverlust

    Google-Plus-Profil für Gmail kein Zwang mehr

  2. Mehr Lohn

    Neue mehrtätige Streikwelle bei Amazon Deutschland

  3. Holzleim

    Fingerabdrucksensor des iPhone 6 ausgetrickst

  4. Virtual-Reality-Brille

    Oculus Crescent Bay mit besserem Display und Kopfhörern

  5. Electric Blue

    Elektroauto bricht Geschwindigkeitsrekord

  6. Soziale Netzwerke

    Offline-Freund bleibt wichtiger als Online-Freund

  7. Internet-Partei

    Kim Dotcom scheitert bei Wahl in Neuseeland

  8. SpaceX

    Privater Raumfrachter Dragon zur ISS gestartet

  9. NSA-Affäre

    Staatsanwaltschaft ermittelt nach Cyberangriff auf Stellar

  10. HP Elitepad 1000 G2 im Test

    Praktisches Arbeitsgerät dank Zubehör



Haben wir etwas übersehen?

E-Mail an news@golem.de



Zoobotics: Vier- und sechsbeinige Pappkameraden
Zoobotics
Vier- und sechsbeinige Pappkameraden
  1. Softrobotik Weicher Roboter bekommt neuen Antrieb
  2. Dyson 360 Eye Staubsauger schickt Sauberkeitsbericht übers Smartphone
  3. Robotik Roboter Achires läuft kameragesteuert

Ascend Mate 7 im Test: Huaweis fast makelloses Topsmartphone
Ascend Mate 7 im Test
Huaweis fast makelloses Topsmartphone
  1. Cloud Congress 2014 Huawei verkauft Intel-Standardserver nur als Türöffner
  2. Huawei Cloud Congress Huawei will weltweit der führende IT-Konzern werden
  3. Ascend G7 Huawei-Smartphone mit 13-Megapixel-Kamera für 300 Euro

Onlinebestellung: Media Markt eröffnet ersten Drive-in
Onlinebestellung
Media Markt eröffnet ersten Drive-in
  1. Preisvergleich Ergebnisse in Preissuchmaschinen nicht zuverlässig
  2. Prepaid Media Markt und Saturn starten eigenen Mobilfunktarif

    •  / 
    Zum Artikel