Abo
  • Services:
Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Anzeige

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?



Anzeige

Stellenmarkt
  1. TUI InfoTec GmbH, Hannover
  2. Continental AG, Frankfurt am Main
  3. PHOENIX CONTACT Electronics GmbH, Bad Pyrmont
  4. Carmeq GmbH, Berlin


Anzeige
Top-Angebote
  1. (u. a. MSI Z370 SLI Plus für 111€ + 5,99€ Versand und Nitro Concepts S300 Gaming-Stuhl...
  2. 59,90€ + 5,99€ Versand (Vergleichspreis 84,53€)
  3. 35,99€

Folgen Sie uns
       


  1. LTE

    Taiwan schaltet nach 2G- auch 3G-Netz ab

  2. Two Point Hospital

    Sega stellt Quasi-Nachfolger zu Theme Hospital vor

  3. Callya

    Vodafones Prepaid-Tarife erhalten mehr Datenvolumen

  4. Skygofree

    Kaspersky findet mutmaßlichen Staatstrojaner

  5. World of Warcraft

    Schwierigkeitsgrad skaliert in ganz Azeroth

  6. Open Source

    Microsoft liefert Curl in Windows 10 aus

  7. Boeing und SpaceX

    Experten warnen vor Sicherheitsmängeln bei Raumfähren

  8. Tencent

    Lego will mit Tencent in China digital expandieren

  9. Beta-Update

    Gesichtsentsperrung für Oneplus Three und 3T verfügbar

  10. Matthias Maurer

    Ein Astronaut taucht unter



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Computerforschung: Quantencomputer aus Silizium werden realistisch
Computerforschung
Quantencomputer aus Silizium werden realistisch
  1. Tangle Lake Intel zeigt 49-Qubit-Chip
  2. Die Woche im Video Alles kaputt
  3. Q# und QDK Microsoft veröffentlicht Entwicklungskit für Quantenrechner

Netzsperren: Wie Katalonien die spanische Internetzensur austrickste
Netzsperren
Wie Katalonien die spanische Internetzensur austrickste

Spectre und Meltdown: All unsere moderne Technik ist kaputt
Spectre und Meltdown
All unsere moderne Technik ist kaputt
  1. Microsoft Fall Creators Update ist final für alle Geräte verfügbar
  2. BeA Noch mehr Sicherheitslücken im Anwaltspostfach
  3. VEP Charter Trump will etwas transparenter mit Sicherheitslücken umgehen

  1. Man ist auf seinem device halt nur selbst nicht Root

    GnomeEu | 05:34

  2. Eine Idee die gar nicht mal so bescheuert ist

    My1 | 05:18

  3. Re: Weg mit den Deutschen SIMs - so mache ich es...

    corruption | 04:42

  4. Re: Mortalität darf deutlich im Prozentbereich sein.

    plutoniumsulfat | 04:08

  5. Viele Worte - Keine Fakten...

    ve2000 | 03:23


  1. 19:16

  2. 17:48

  3. 17:00

  4. 16:25

  5. 15:34

  6. 15:05

  7. 14:03

  8. 12:45


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel