Abo
  • Services:
Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Anzeige

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?



Anzeige

Stellenmarkt
  1. operational services GmbH & Co. KG, Frankfurt am Main, München, Nürnberg, Wolfsburg
  2. Detecon International GmbH, Köln, Frankfurt am Main
  3. FRITZ & MACZIOL group, deutschlandweit
  4. operational services GmbH & Co. KG, Berlin, Frankfurt am Main


Anzeige
Spiele-Angebote
  1. 54,85€
  2. 349,99€
  3. 699,00€

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Unternehmensweites Dokumenten- und Wissensmanagement


  1. Linux

    Kernel-Sicherheitsinitiative wächst "langsam aber stetig"

  2. VR-Handschuh

    Dexta Robotics' Exoskelett für Motion Capturing

  3. Dragonfly 44

    Eine Galaxie fast ganz aus dunkler Materie

  4. Gigabit-Breitband

    Google Fiber soll Alphabet zu teuer sein

  5. Google-Steuer

    EU-Kommission plädiert für europäisches Leistungsschutzrecht

  6. Code-Gründer Thomas Bachem

    "Wir wollen weg vom Frontalunterricht"

  7. Pegasus

    Ausgeklügelte Spyware attackiert gezielt iPhones

  8. Fenix Chronos

    Garmins neue Sport-Smartwatch kostet ab 1.000 Euro

  9. C-94

    Cratoni baut vernetzten Fahrradhelm mit Crash-Sensor

  10. Hybridluftschiff

    Airlander 10 streifte Überlandleitung



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Lernroboter-Test: Besser Technik lernen mit drei Freunden
Lernroboter-Test
Besser Technik lernen mit drei Freunden
  1. Kinderroboter Myon Einauge lernt, Einauge hat Körper
  2. Landwirtschaft 4.0 Swagbot hütet das Vieh
  3. Künstliche Muskeln Skelettroboter klappert mit den Zähnen

Mobilfunk: Eine Woche in Deutschland im Funkloch
Mobilfunk
Eine Woche in Deutschland im Funkloch
  1. Netzwerk Mehrere regionale Mobilfunkausfälle bei Vodafone
  2. Hutchison 3 Google-Mobilfunk Project Fi soll zwanzigmal schneller werden
  3. RWTH Ericsson startet 5G-Machbarkeitsnetz in Aachen

No Man's Sky im Test: Interstellare Emotionen durch schwarze Löcher
No Man's Sky im Test
Interstellare Emotionen durch schwarze Löcher
  1. No Man's Sky für PC Läuft nicht, stottert, nervt
  2. No Man's Sky Onlinedienste wegen Überlastung offline
  3. Hello Games No Man's Sky bekommt Raumstationsbau

  1. Re: Ich empfehle an dieser Stelle: The Truth...

    Proctrap | 01:56

  2. Re: Und der Rest ist Zuckerwatte

    johnsonmonsen | 01:47

  3. Re: iOS, na klar!

    plutoniumsulfat | 01:17

  4. Re: Diebstahl leicht gemacht

    plutoniumsulfat | 01:12

  5. Re: Oder einfach USB kabel

    plutoniumsulfat | 01:08


  1. 15:33

  2. 15:17

  3. 14:29

  4. 12:57

  5. 12:30

  6. 12:01

  7. 11:57

  8. 10:40


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel