Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Testmanager/-in-User Acceptance Test (UAT)
    M-net Telekommunikations GmbH, München
  2. Fachinformatiker (m/w) Systemintegration
    Systemhaus Essig GmbH, Pforzheim
  3. Software-Tester/in von (Automatik)Getriebefunktionen
    ESG Elektroniksystem- und Logistik-GmbH, München
  4. Service Prozessbeauftragter / SAP-Key-User (m/w)
    KLINGELNBERG GmbH, Hückeswagen (Großraum Köln)

 

Detailsuche


Hardware-Angebote
  1. TIPP: Alternate Schnäppchen Outlet
  2. Alle PCGH-PCs inkl. The Witcher 3
  3. Fire TV Stick
    39,00€

 

Weitere Angebote


Folgen Sie uns
       


  1. Auftragsfertiger

    Samsung soll Qualcomms Snapdragon 820 herstellen

  2. IT-Sicherheitsgesetz

    CCC lehnt BSI als Meldestelle ab

  3. Ikea

    Küche der Zukunft mit Projektor und Bilderkennung

  4. Bing

    Yahoo kann Suchpartnerschaft mit Microsoft beenden

  5. General Electric

    Flugzeugtriebwerk erhält Bauteil aus 3D-Drucker

  6. Videostreaming

    HBO wirft VPN-Schwarzseher von Game of Thrones raus

  7. Andrea Voßhoff

    Bundesdatenschützerin nennt Vorratsdaten grundrechtswidrig

  8. Release-Datum

    Windows 10 erscheint laut AMD Ende Juli

  9. Update

    Android Wear bekommt WLAN-Unterstützung und App-Übersicht

  10. Big Data in Unternehmen

    Wenn die Firma vor Ihnen weiß, wann Sie kündigen



Haben wir etwas übersehen?

E-Mail an news@golem.de



Hello Firefox OS: Einfacher Einstieg in die App-Entwicklung mit Firefox OS
Hello Firefox OS
Einfacher Einstieg in die App-Entwicklung mit Firefox OS
  1. Freie Bürosoftware Libreoffice liegt im Rennen gegen Openoffice weit vorne
  2. ARM-SoC Allwinner verschleiert Lizenzverletzungen noch weiter
  3. ARM-SoC Allwinner soll LGPL-Verletzungen verschleiern

Flex Shape Gripper: Zuschnappen wie ein Chamäleon
Flex Shape Gripper
Zuschnappen wie ein Chamäleon
  1. Windkraftwerke Kletterroboter überprüft Windräder
  2. Care-O-bot Der Gentleman-Roboter gibt sich die Ehre
  3. Roboter Festos Falter fliegen fleißig

Android 5.1 im Test: Viel nützlicher Kleinkram
Android 5.1 im Test
Viel nützlicher Kleinkram
  1. Google EU-Wettbewerbsverfahren auch zu Android
  2. Lollipop Trage-Erkennung setzt Passwortsperre aus
  3. Google Android 5.1 bringt mehr Bedienungskomfort und Sicherheit

  1. Re: Für die Mülltonne! Da das Glas alleine kaputt...

    datenmuell | 10:11

  2. Re: Wie ist das überhaupt aufgefallen?

    pseudo | 10:11

  3. Re: Bing ist schrott

    nykiel.marek | 10:11

  4. Re: An ungläubige Konsolen Spieler

    Endwickler | 10:10

  5. Re: Alternative?

    datenmuell | 10:10


  1. 10:16

  2. 09:48

  3. 07:52

  4. 07:36

  5. 07:33

  6. 07:12

  7. 18:12

  8. 17:41


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel