Abo
  • Services:
Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Anzeige

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?



Anzeige

Stellenmarkt
  1. DEKOBACK GmbH, Reichartshausen
  2. über Jobware Personalberatung, Home Office und München
  3. Allianz Deutschland AG, München-Unterföhring
  4. Wilken Neutrasoft GmbH, Greven bei Münster/Westfalen


Anzeige
Blu-ray-Angebote
  1. (u. a. Der Hobbit 3 für 9,99€ u. Predator für 12,49€)
  2. (u. a. Der Marsianer, The Hateful 8, Interstellar, Django Unchained, London Has Fallen, Olympus Has...
  3. 29,99€ (Vorbesteller-Preisgarantie)

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Wettbewerbsfaktor Analytics im Internet der Dinge.
  2. Leitfaden für den gezielten Einsatz von SAP HANA
  3. Praxiseinsatz, Nutzen und Grenzen von Hadoop und Data Lakes


  1. Router

    BSI warnt vor Sicherheitslücke in 60 Netgear-Modellen

  2. Smartphone-Hersteller

    Hugo Barra verlässt Xiaomi

  3. Nach Hack

    US-Börsenaufsicht ermittelt gegen Yahoo

  4. Prozessoren

    Termin für Kaby Lake-X und Details zu den Kaby-Lake-Xeons

  5. Ex-Cyanogenmod

    LineageOS startet mit fünf unterstützten Smartphones

  6. Torment - Tides of Numenera angespielt

    Der schnellste Respawn aller Zeiten

  7. Samsung zum Galaxy Note 7

    Schuld waren die Akkus

  8. Automute

    Stummschalten beim Ausstöpseln der Kopfhörer

  9. Neue Hardwaregeneration

    Tesla-Autopilot 2.0 nur bis 72 km/h aktiv

  10. Digitale Assistenten

    LG hat für das G6 mit Google und Amazon verhandelt



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Donald Trump: Ein unsicherer Deal für die IT-Branche
Donald Trump
Ein unsicherer Deal für die IT-Branche
  1. USA Amazon will 100.000 neue Vollzeitstellen schaffen
  2. Trump auf Pressekonferenz "Die USA werden von jedem gehackt"
  3. US-Wahl US-Geheimdienste warnten Trump vor Erpressung durch Russland

Begnadigung: Danke, Chelsea Manning!
Begnadigung
Danke, Chelsea Manning!
  1. Die Woche im Video B/ow the Wh:st/e!
  2. Verwirrung Assange will nicht in die USA - oder doch?
  3. Whistleblowerin Obama begnadigt Chelsea Manning

Shield TV (2017) im Test: Nvidias sonderbare Neuauflage
Shield TV (2017) im Test
Nvidias sonderbare Neuauflage
  1. Wayland Google erstellt Gamepad-Support für Android in Chrome OS
  2. Android Nougat Nvidia bringt Experience Upgrade 5.0 für Shield TV
  3. Nvidia Das Shield TV wird kleiner und kommt mit mehr Zubehör

  1. Re: 1. Juli 2017

    ImBackAlive | 11:35

  2. Re: Manipulative Bildauswahl

    maze_1980 | 11:34

  3. Re: Fassungslos

    ArthurDaley | 11:31

  4. von CM 13 auf Lineage OS

    Blackhazard | 11:31

  5. Bitte bringt nicht zwei Welten durcheinander

    Truster | 11:30


  1. 11:46

  2. 11:40

  3. 11:00

  4. 10:45

  5. 10:30

  6. 10:00

  7. 08:36

  8. 07:26


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel