Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Webentwickler, Programmierer als Sicherheitsexperte (m/w)
    OPTIMAbit GmbH, München
  2. Softwareentwickler SPS / Experte (m/w) für elektrische Antriebe
    Schiller Automation GmbH & Co. KG, Sonnenbühl-Genkingen
  3. Controller (m/w)
    BIOSCIENTIA Institut für Medizinische Diagnostik GmbH, Ingelheim am Rhein
  4. Senior SRM Consultant Professional Services (m/w)
    über 3C - Career Consulting Company GmbH, Stuttgart

Detailsuche


Hardware-Angebote
  1. Nvidia Shield Android TV kaufen und Shield-Remote gratis dazu
    55€ sparen!
  2. TIPP: Alternate Schnäppchen Outlet
    (täglich neue Deals)
  3. NEU: Sapphire AMD Radeon R9 380X OC Dual-X Nitro
    239,90€

Weitere Angebote


Folgen Sie uns
       


  1. Apple

    Neues iPhone und neues iPad erscheinen Mitte März

  2. Austauschprogramm

    Apples USB-Typ-C-Kabel macht Probleme

  3. Apples iOS

    Datumsfehler macht iPhone kaputt

  4. Darpa

    Schnelle Drohnen fliegen durch Häuser

  5. Mattel und 3Doodler

    3D-Druck für Kinder

  6. Adobe Creative Cloud

    Adobe-Update löscht Daten auf dem Mac

  7. Verschlüsselung

    Thüringens Verfassungsschutzchef Kramer verlangt Hintertüren

  8. Xeon D-1571

    Intel veröffentlicht sparsamen Server-Chip mit 16 Kernen

  9. Die Woche im Video

    Sensationen und Skandale

  10. Micron

    Von 1Y-/1Z-DRAM-, 3D-Flash- und 3D-Xpoint-Plänen



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Time Machine VR angespielt: Wir tauchen mit den Monstern der Tiefe
Time Machine VR angespielt
Wir tauchen mit den Monstern der Tiefe
  1. Virtual Reality Oculus VRs Tool erkennt keine AMD-Prozessoren
  2. Unreal Engine4 Epic baut virtuelle Welt in virtueller Welt
  3. Unmandelboxing Markus Persson fliegt durch VR-Fraktaltunnel

Tails 2.0 angeschaut: Die Linux-Distribution zum sicheren Surfen neu aufgelegt
Tails 2.0 angeschaut
Die Linux-Distribution zum sicheren Surfen neu aufgelegt
  1. Linux Tails Installer in Debian und Ubuntu integriert

Künstliche Intelligenz: Alpha Go spielt wie ein Japaner
Künstliche Intelligenz
Alpha Go spielt wie ein Japaner
  1. Deepmind Mit neuronalem Netz durch den Irrgarten
  2. Nachruf KI-Pionier Marvin Minsky mit 88 Jahren gestorben
  3. OpenAI Elon Musk unterstützt Forschung an gemeinnütziger KI

  1. Re: Von EWE Tel enttäuscht.

    Ollo | 13:31

  2. Re: Automatische Zeiteinstellung

    quadronom | 13:30

  3. Re: "Datumsfehler macht iPhone kaputt"

    quadronom | 13:28

  4. Re: Unitymedia war über Arbeiten informiert.

    Lala Satalin... | 13:23

  5. Re: Die 'Unixzeit' und andere mysteriöse Dinge.

    bstea | 13:21


  1. 12:03

  2. 11:03

  3. 10:13

  4. 14:35

  5. 13:25

  6. 12:46

  7. 11:03

  8. 09:21


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel