Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Software Testingenieur (m/w) Fahrerassistenzsysteme
    Continental AG, Lindau
  2. IT Application Consultant (m/w) SAP FI/CO
    Viega GmbH & Co. KG, Attendorn
  3. Datenbank- und Business-Intelligence-Admini- stratoren (m/w)
    ARI Fleet Germany GmbH, Koblenz, Stuttgart oder Eschborn bei Frankfurt am Main
  4. First Level Support / User Help Desk (m/w)
    BAM Deutschland AG, Stuttgart

Detailsuche



Anzeige
Top-Angebote
  1. JETZT VERFÜGBAR: Overwatch - Origins Edition - [PC]
    59,00€
  2. JETZT VERFÜGBAR: Total War: WARHAMMER
    54,99€
  3. TIPP: Zotac Geforce GTX970
    259,00€ (Vergleichspreis: 290,04€)

Weitere Angebote


Folgen Sie uns
       


  1. Hyperloop

    HTT will seine Rohrpostzüge aus Marvel-Material bauen

  2. Smartwatches

    Pebble 2 und Pebble Time 2 mit Pulsmesser

  3. Kickstarter

    Pebble Core als GPS-Anhänger für Hacker und Sportler

  4. Virtual Reality

    Facebook kauft Two Big Ears für 360-Grad-Sound

  5. Wirtschaftsminister Olaf Lies

    Beirat der Bundesnetzagentur gegen exklusives Vectoring

  6. Smartphone-Betriebssystem

    Microsoft verliert stark gegenüber Google und Apple

  7. Onlinehandel

    Amazon startet eigenen Paketdienst in Berlin

  8. Pastejacking im Browser

    Codeausführung per Copy and Paste

  9. Manuela Schwesig

    Familienministerin will den Jugendschutz im Netz neu regeln

  10. Intels Compute Stick im Test

    Der mit dem Lüfter streamt (2)



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Cloudready im Test: Ein altes Gerät günstig zum Chromebook machen
Cloudready im Test
Ein altes Gerät günstig zum Chromebook machen
  1. Chrome OS Android-Apps kommen auf Chromebooks
  2. Acer-Portfolio 2016 Vom 200-Hz-Curved-Display bis zum 15-Watt-passiv-Detachable

Doom im Technik-Test: Im Nightmare-Mode erzittert die Grafikkarte
Doom im Technik-Test
Im Nightmare-Mode erzittert die Grafikkarte
  1. Blackroom John Romero und das Shooter-Holodeck
  2. Doom Hölle für alle
  3. Doom Bericht aus der Bunnyhopping-Hölle

Oxford Nanopore: Das Internet der lebenden Dinge
Oxford Nanopore
Das Internet der lebenden Dinge
  1. Wie Glas Forscher machen Holz transparent
  2. Smartwatch Skintrack macht den Arm zum Touchpad
  3. Niederschläge Die Vereinigten Arabischen Emirate wollen einen Berg

  1. Re: Preisfrage

    kvoram | 03:00

  2. Re: Ich warte lieber auf die Pyra aus Ingolstadt

    Lightkey | 02:50

  3. Re: Wer von euch nutzt Actioncams?

    berritorre | 02:46

  4. Re: "Vectoring ist Glasfaser"

    bombinho | 02:23

  5. Grad erst auf 1GB Netbook aufgespielt

    MarcüseKubus | 02:17


  1. 19:01

  2. 18:03

  3. 17:17

  4. 17:03

  5. 16:58

  6. 14:57

  7. 14:31

  8. 13:45


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel