Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Modul Manager (m/w) SAP/MM & SAP/PP
    MBDA Deutschland, Schrobenhausen
  2. Mitarbeiter Qualitätsmanagement (m/w)
    MicroNova AG, Vierkirchen
  3. Head of IT (m/w)
    Picanova GmbH über Dr. Falk Graf von Westarp, Köln
  4. System Engineer (m/w)
    TEXAS INSTRUMENTS Deutschland GmbH, Freising near Munich

 

Detailsuche


Hardware-Angebote
  1. SanDisk Cruzer Ultra 64GB USB-Stick USB 3.0
    21,00€
  2. Raspberry Pi 2 Modell B / Quad-Core Prozessor / 1GB RAM - inkl. Kühlkörper
    ab 37,90€
  3. Ausgewähltes Speedlink Lautsprechersystem kaufen und Bluetooth-Lautsprecher gratis erhalten

 

Weitere Angebote


Folgen Sie uns
       


  1. IMHO

    Automotiv ist das neue Internet of Things

  2. Test The Book of Unwritten Tales 2

    Fantasywelt in rosa Plüschgefahr

  3. 3D-Drucker im Lieferwagen

    Amazon will Waren auf dem Weg zum Kunden produzieren

  4. Play Store

    Google integriert Werbung in die App-Suche

  5. Abenteuer erneuerbare Energie

    Solar Impulse startet zum Weltflug mit Sonnenergie

  6. Geheimdienstchef Clapper

    Cyber-Armageddeon ist nicht zu befürchten

  7. LTE-Nachfolger

    Huawei baut mit M-net in München Testnetz für 5G-Mobilfunk

  8. Top-Level-Domain

    Google kauft .app für 25 Millionen US-Dollar

  9. Umstieg auf Bitcoin

    Paypal kündigt Dotcoms Mega wegen Verschlüsselung

  10. Easter Egg

    Tesla Model S wird zu Bonds Tauch-Lotus



Haben wir etwas übersehen?

E-Mail an news@golem.de



Invisible Internet Project: Das alternative Tor ins Darknet
Invisible Internet Project
Das alternative Tor ins Darknet
  1. Datenschützer Private Überwachungskameras stark verbreitet
  2. Play Store Weit verbreitete Apps zeigen Adware verzögert an
  3. Blackphone Schwerwiegender Fehler in der Messaging-App Silenttext

Honor Holly im Test: 130 Euro - wer bietet weniger?
Honor Holly im Test
130 Euro - wer bietet weniger?
  1. Honor Preis des Holly sinkt auf 110 Euro
  2. Honor Holly Je mehr Interessenten, desto günstiger das Smartphone
  3. Honor T1 8-Zoll-Tablet im iPad-Mini-Format für 130 Euro

SLED 12 im Test: Die Sinnhaftigkeit eines kostenpflichtigen Linux-Desktops
SLED 12 im Test
Die Sinnhaftigkeit eines kostenpflichtigen Linux-Desktops
  1. Linux-Jahresrückblick 2014 Umbauarbeiten, Gezanke und Container

  1. Re: Dürfen Banken sowas?

    Johnny Cache | 14:10

  2. Re: Viele kleinere Händler haben leider oft nur...

    BLi8819 | 14:09

  3. Re: HTML5-Videos auf youtube in 1080p?

    morningstar | 14:07

  4. ISS: prior art

    Brotbüchse aus... | 14:07

  5. Re: Warum ...

    Fatwgo | 14:07


  1. 14:11

  2. 14:01

  3. 12:37

  4. 12:21

  5. 12:08

  6. 12:07

  7. 11:58

  8. 11:44


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel