Abo
  • Services:
Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Anzeige

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?



Anzeige

Stellenmarkt
  1. Hornetsecurity GmbH, Hannover
  2. OSRAM GmbH, Garching bei München
  3. Fresenius Medical Care Deutschland GmbH, Bad Homburg
  4. Rohde & Schwarz Cybersecurity GmbH, Leipzig


Anzeige
Blu-ray-Angebote
  1. (u. a. Reign, Person of Interest, Gossip Girl, The Clone Wars)
  2. 24,99€ (Vorbesteller-Preisgarantie)
  3. (u. a. The Revenant 7,97€, James Bond Spectre 7,97€, Der Marsianer 7,97€)

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Data Center-Modernisierung für mehr Performance und


  1. Debatte nach Wanna Cry

    Sicherheitslücken veröffentlichen oder zurückhacken?

  2. Drohne

    DJI Spark ist ein winziger Spaßcopter mit Gestensteuerung

  3. Virb 360

    Garmins erste 360-Grad-Kamera nimmt 5,7K-Videos auf

  4. Digitalkamera

    Ricoh WG-50 soll Fotos bei extremen Bedingungen ermöglichen

  5. Wemo

    Belkin erweitert Smart-Home-System um Homekit-Bridge

  6. Digital Paper DPT-RP1

    Sonys neuer E-Paper-Notizblock wird 700 US-Dollar kosten

  7. USB Typ C Alternate Mode

    Thunderbolt-3-Docks von Belkin und Elgato ab Juni

  8. Sphero Lightning McQueen

    Erst macht es Brummbrumm, dann verdreht es die Augen

  9. VLC, Kodi, Popcorn Time

    Mediaplayer können über Untertitel gehackt werden

  10. Engine

    Unity bekommt 400 Millionen US-Dollar Investorengeld



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Quantencomputer: Nano-Kühlung für Qubits
Quantencomputer
Nano-Kühlung für Qubits
  1. IBM Q Mehr Qubits von IBM
  2. Quantencomputer Was sind diese Qubits?
  3. Verschlüsselung Kryptographie im Quantenzeitalter

Tado im Langzeittest: Am Ende der Heizperiode
Tado im Langzeittest
Am Ende der Heizperiode
  1. Speedport Smart Telekom bringt Smart-Home-Funktionen auf den Speedport
  2. Tapdo Das Smart Home mit Fingerabdrücken steuern
  3. Mehr Möbel als Gadget Eine Holzfernbedienung für das Smart Home

Blackberry Keyone im Test: Tolles Tastatur-Smartphone hat zu kurze Akkulaufzeit
Blackberry Keyone im Test
Tolles Tastatur-Smartphone hat zu kurze Akkulaufzeit
  1. Blackberry Keyone kommt Mitte Mai
  2. Keyone Blackberrys neues Tastatur-Smartphone kommt später
  3. Blackberry Keyone im Hands on Android-Smartphone mit toller Hardware-Tastatur

  1. Re: Warum sind die Flügel nicht einklappbar?

    LASERwalker | 09:37

  2. Wenn ich so an meinen alten Arbeitgeber denke...

    textract | 09:29

  3. Re: Unix, das Betriebssystem von Entwicklern, für...

    renegade334 | 09:26

  4. Re: Coole Sache aber,

    Bruce Wayne | 09:20

  5. Re: Wirklich nicht umweltfreundlich?

    TW1920 | 09:20


  1. 09:02

  2. 08:28

  3. 07:16

  4. 07:08

  5. 18:10

  6. 10:10

  7. 09:59

  8. 09:00


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel