Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. SAP-FI/CO-Inhouse-Berater (m/w)
    Zott SE & Co. KG, Mertingen Raum Augsburg
  2. Teamleiter Web Development (m/w) Schwerpunkt Enterprise Applications & moderne Web Frameworks - Front- & Backend
    GIGATRONIK Stuttgart GmbH, Stuttgart
  3. Service Desk Mitarbeiter/in
    Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V., St. Augustin
  4. Mitarbeiter Testmanagement (m/w)
    afb Application Services AG, München

 

Detailsuche


Top-Angebote
  1. NEU: 15 EUR Rabatt auf das Microsoft Lumia 640
  2. NEU: Bild- und Videobearbeitungssoftware von Corel reduziert
    (u. a. Corel PaintShop Pro X7 35,95€)
  3. VORBESTELLBAR: Jurassic Park Collection - Dino-Skin Edition (exkl. bei Amazon.de) [Blu-ray] [Limited Edition]
    29,99€ - Release 11.06.

 

Weitere Angebote


Folgen Sie uns
       


  1. Android

    Schlüssel werden auf zurückgesetzten Smartphones nicht gelöscht

  2. Aria

    Gerät ermöglicht Smartwatch-Steuerung per Fingerschnippen

  3. Funktechnik

    Daimler und Qualcomm vernetzen das Auto

  4. Projekt Astoria

    Algorithmen gegen Schnüffler im Tor-Netzwerk

  5. Raumfahrt

    Marsrover Curiosity sieht wieder scharf

  6. Server-Prozessor

    Intels Skylake-EX bietet 28 Kerne und sechs Speicherkanäle

  7. Berlin E-Prix

    Motoren, die nach Star Wars klingen

  8. Licht

    Indoor-Navigationssystem führt zu Sonderangeboten im Supermarkt

  9. Handmade

    Amazon bereitet Marktplatz für Handgefertigtes vor

  10. BND-Skandal

    EU-Kommissar Oettinger testet Kryptohandy



Haben wir etwas übersehen?

E-Mail an news@golem.de



Maker Faire Bay Area 2015: Die Lust, zu schaffen und zu zerstören
Maker Faire Bay Area 2015
Die Lust, zu schaffen und zu zerstören
  1. Materialforschung Forscher 3D-drucken Graphen-Aerogel
  2. General Electric Flugzeugtriebwerk erhält Bauteil aus 3D-Drucker
  3. 3D-Drucker im Lieferwagen Amazon will Waren auf dem Weg zum Kunden produzieren

Golem.de-Test mit Kaspersky: So sicher sind Fototerminals und Copyshops
Golem.de-Test mit Kaspersky
So sicher sind Fototerminals und Copyshops
  1. Malware Blackcoffee nutzt Forum für C&C-Vermittlung
  2. United Airlines Mit Bug Bounties um die Welt reisen
  3. Studie Die Smart City ist intelligent, aber angreifbar

Macbook 12 im Test: Einsamer USB-Port sucht passende Partner
Macbook 12 im Test
Einsamer USB-Port sucht passende Partner
  1. Apple Store Apple erhöht Hardwarepreise
  2. Workaround Macbook 12 kann bei Erstinstallation hängen bleiben
  3. Hydradock Elf Ports für das Macbook 12

  1. Algorithmen Werten nur Kriterien aus...

    Graveangel | 01:33

  2. Re: Wo sollen diese ganzen beklopten Gesten...

    packansack | 01:32

  3. Re: Ziemlich brisantes PDF

    MeanMinistry | 01:06

  4. Re: Softwarefehler?

    HerrMannelig | 00:39

  5. Re: wipe dalvic/cache/user data/factory reset

    Tzven | 00:32


  1. 17:47

  2. 13:40

  3. 12:15

  4. 11:28

  5. 11:11

  6. 10:25

  7. 21:43

  8. 14:05


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel