Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Anzeige

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?



Anzeige

Stellenmarkt
  1. Hessischer Rundfunk, Frankfurt
  2. Deutsche Telekom AG, Bonn
  3. Deutsche Telekom AG, Düsseldorf
  4. afb Application Services AG, München


Anzeige
Top-Angebote
  1. 229,00€ inkl. Versand
  2. mit Geforce GTX 1070 und i5-6500 für 1.229 €
  3. (u. a. Ice Age 1-4 Blu-ray je 6,90€, Rio 2 Blu-ray 6,90€, Playstation VR 399€)

Folgen Sie uns
       


  1. Passwort-Cracker

    Hashcat will jetzt auch Veracrypt knacken können

  2. Sparc S7

    Oracle attackiert Intels Xeon mit acht Kernen bei 4,27 GHz

  3. Musikstreaming

    Spotify wirft Apple Behinderung des Wettbewerbs vor

  4. Fireflies

    Günstige Bluetooth-Ohrstecker sollen 100 US-Dollar kosten

  5. Twitch

    "Social Eating" als neuer Kanal

  6. Tidal

    Apple will Streamingdienst von Jay Z kaufen

  7. Social Media

    Facebook-Nutzer müssen vorerst weiter Klarnamen angeben

  8. Xiaomi Mi Qicycle

    Elektrisches Klappfahrrad mit Smartphone-Anschluss

  9. The Mill Blackbird

    Auto verwandelt sich für Filmaufnahmen

  10. United Internet

    Festnetzbetreiber heißt jetzt 1&1 Versatel



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Oneplus Three im Test: Ein Alptraum für die Android-Konkurrenz
Oneplus Three im Test
Ein Alptraum für die Android-Konkurrenz
  1. Android-Smartphone Diskussionen um Speichermanagement beim Oneplus Three
  2. Smartphones Oneplus soll keine günstigeren Modellreihen mehr planen
  3. Ohne Einladung Oneplus Three kommt mit 6 GByte RAM für 400 Euro

Mobbing auf Wikipedia: Content-Vandalismus, Drohungen und Beschimpfung
Mobbing auf Wikipedia
Content-Vandalismus, Drohungen und Beschimpfung
  1. Freies Wissen Katherine Maher wird dauerhafte Wikimedia-Chefin

Neue Windows Server: Nano bedeutet viel mehr als nur klein
Neue Windows Server
Nano bedeutet viel mehr als nur klein
  1. Windows 10 Microsoft will Trickserei beim Upgrade beenden
  2. Windows 10 Microsoft zahlt Entschädigung für nicht gewolltes Upgrade
  3. Microsoft Patchday Das Download-Center wird nicht mehr alle Patches bieten

  1. Re: Der Tag, an dem ich alt wurde

    ElMario | 11:35

  2. Re: Das wird die EU retten!

    heubergen | 11:35

  3. Re: Ich verstehe diese Politik nicht...

    Assadriel | 11:35

  4. Re: wann kommt der ...

    ElMario | 11:34

  5. Re: never before has a generation so diligently...

    Mithrandir | 11:34


  1. 11:39

  2. 11:35

  3. 10:36

  4. 10:30

  5. 10:23

  6. 10:14

  7. 09:44

  8. 07:58


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel