Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. IT-Architekt Engineering für das Team Enterprise Architecture Management & Governance
    Daimler AG, Böblingen
  2. IT-Systemadministrator (m/w)
    Schuberth Gruppe, Magdeburg
  3. Senior Consultant Informatica-Produkte (m/w)
    Syncwork AG, Berlin, Dresden, Köln und Wiesbaden
  4. Web Analyst (m/w)
    über menovia GmbH, Großraum Düsseldorf

 

Detailsuche


Hardware-Angebote
  1. ARLT-Sale
    (Restposten, Rücksendungen und Gebrauchtware)
  2. Samsung-UHDTV kaufen und Sommer-Bonus erhalten
    100,00€ bis 1.000,00€ Cashback
  3. PCGH-Extreme-PC GTX980Ti-Edition
    (Core i7-5820K + Geforce GTX 980 Ti)

 

Weitere Angebote


Folgen Sie uns
       


  1. Security

    PHP File Manager hat gravierende Sicherheitslücken

  2. Künstliche Intelligenz

    Forscher fordern Ächtung von autonomen Waffensystemen

  3. Anonymisierung

    Hornet soll das schnellere Tor-Netzwerk werden

  4. Rowhammer

    Speicher-Bitflips mittels Javascript

  5. Karten

    Apple fährt mit Kameraautos europäische Straßen ab

  6. Bundesverkehrsministerium

    Schnelle E-Bikes sollen auf Radwegen fahren

  7. Oneplus-One-Nachfolger

    Neues Oneplus Two wird ab 340 Euro kosten

  8. Spionagesoftware

    Der Handel des Hacking Teams mit Zero-Days

  9. In eigener Sache

    Preisvergleich bei Golem.de

  10. Akademy 2015

    Plasma Mobile hilft KDE bei der Wayland-Umsetzung



Haben wir etwas übersehen?

E-Mail an news@golem.de



Kepler-452b: Die "zweite Erde", die schon wieder keine ist
Kepler-452b
Die "zweite Erde", die schon wieder keine ist
  1. Weltraumteleskop Kepler entdeckt Supererde in der habitablen Zone

Pixars Inside Out im Dolby Cinema: Was blenden soll, blendet auch
Pixars Inside Out im Dolby Cinema
Was blenden soll, blendet auch
  1. Ultra HD Blu-ray Es geht bald los mit 4K-Filmen auf Blu-ray

Neue WLAN-Router-Generation: Hohe Bandbreiten mit zweifelhaftem Nutzen
Neue WLAN-Router-Generation
Hohe Bandbreiten mit zweifelhaftem Nutzen
  1. EA8500 Linksys' MU-MIMO-Router kostet 300 Euro
  2. Aruba Networks 802.11ac-Access-Points mit integrierten Bluetooth Beacons
  3. 802.11ac Wave 2 Neue Chipsätze für die zweite Welle von ac-WLAN

  1. Re: Was ist der Unterschied zum MOFA

    der_wahre_hannes | 10:22

  2. Genial!

    dabbes | 10:20

  3. Re: Mittwoch wird dann jagt auf den Pinguin gemacht

    Chantalle47 | 10:20

  4. Re: Dresscode gehören Abgeschafft

    Ekelpack | 10:17

  5. Skynet

    baumhausbewohner | 10:16


  1. 09:56

  2. 09:45

  3. 09:06

  4. 08:48

  5. 08:00

  6. 07:48

  7. 05:00

  8. 18:15


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel