Abo
  • Services:
Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Anzeige

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?



Anzeige

Stellenmarkt
  1. QSC AG, verschiedene Standorte
  2. über Jobware Personalberatung, Raum Köln
  3. Volkswagen AG, Berlin
  4. Robert Bosch GmbH, Leonberg


Anzeige
Hardware-Angebote
  1. 619,00€
  2. 115,00€ - Bestpreis!

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Leitfaden für den gezielten Einsatz von SAP HANA
  2. Wissens-Guide und Kaufberatung für Cloud-Sicherheit
  3. Mehr dazu im aktuellen Whitepaper von Freudenberg IT


  1. Suchmaschine

    Google macht angepasste Site Search dicht

  2. Hawkspex mobile

    Diese App macht das Smartphone zum Spektrometer

  3. Asus Tinker Board im Test

    Buntes Lotterielos rechnet schnell

  4. Netflix

    Ein Stethoskop für mehr Freiheit und Sicherheit

  5. Windows 10 Mobile

    Continuum kommt ins Polizeiauto

  6. DSM 6.1

    Synology bringt Btrfs auf mehr alte NAS-Systeme

  7. Mobilfunk

    Telefónica verspricht Verbesserungen bei der Netzperformance

  8. Neue Version für Smartphones

    Remix OS wird zum Continuum-Konkurrenten

  9. Ford

    Automatisiertes Fahren ist einschläfernd

  10. Sony SF-G

    SD-Karte liest und schreibt mit fast 300 MByte/s



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
MX Board Silent im Praxistest: Der viel zu teure Feldversuch von Cherry
MX Board Silent im Praxistest
Der viel zu teure Feldversuch von Cherry
  1. MX Board Silent Mechanische Tastatur von Cherry bringt Ruhe ins Büro
  2. Smartphone TCL will neues Blackberry mit Tastatur bringen
  3. Tastaturhülle Canopy hält Magic Keyboard und iPad zum Arbeiten zusammen

Der große Ultra-HD-Blu-ray-Test (Teil 2): 4K-Hardware ist nichts für Anfänger
Der große Ultra-HD-Blu-ray-Test (Teil 2)
4K-Hardware ist nichts für Anfänger
  1. Der große Ultra-HD-Blu-ray-Test (Teil 1) 4K-Filme verzeihen keine Fehler
  2. Deutsche Verkaufszahlen Unberechtigter Jubel über die UHD-Blu-ray
  3. 4K Blu-ray Sonys erster UHD-Player kommt im Frühjahr 2017

LineageOS im Test: Das neue Cyanogenmod ist fast das alte Cyanogenmod
LineageOS im Test
Das neue Cyanogenmod ist fast das alte Cyanogenmod
  1. Ex-Cyanogenmod LineageOS startet mit den ersten fünf Smartphones
  2. Smartphone-OS Cyanogenmod ist tot, lang lebe Lineage

  1. Re: Biete Job für Linux-Profi in Bremen

    gadthrawn | 14:08

  2. Re: X11 nicht stabil?

    am (golem.de) | 14:07

  3. Re: "Erfolg ist die Summe richtiger Entscheidungen"

    Dwalinn | 14:07

  4. Re: Klingt komisch/unglaubwürdig

    George99 | 14:07

  5. Btrfs auch für 15er Serie

    skyynet | 14:07


  1. 13:04

  2. 13:00

  3. 12:05

  4. 12:03

  5. 11:55

  6. 11:51

  7. 11:44

  8. 11:31


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel