Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Wissenschaftliche Mitarbeiterin / Wissenschaftlicher Mitarbeiter am Lehrstuhl für Software Engineering
    Universität Passau, Passau
  2. Software-Architekt (m/w)
    Concardis GmbH, Eschborn
  3. SAP Consultant (m/w) Schwerpunkt Support
    Fresenius Netcare GmbH, St. Wendel
  4. Forschungsingenieur/in für Fahrzeug-Kommunikation
    Robert Bosch GmbH, Hildesheim

Detailsuche



Anzeige

Folgen Sie uns
       


  1. Torsploit

    Früheres Mitglied der Tor-Entwickler half dem FBI

  2. Emulation

    Windows 95 auf der Apple Watch

  3. Valve Steam

    Zwei-Faktor-Authentifizierung hilft gegen Cheater

  4. Hitman

    Patch behindert Spielstart im Direct3D-12-Modus

  5. Peter Molyneux

    Lionhead-Studio ist Geschichte

  6. Deskmini

    Asrock zeigt Rechner mit Intels Mini-STX-Formfaktor

  7. Die Woche im Video

    Schneller, höher, weiter

  8. Ransomware

    Verfassungsschutz von Sachsen-Anhalt wurde verschlüsselt

  9. Kabelnetzbetreiber

    Angeblicher 300-Millionen-Deal zwischen Telekom und Kabel BW

  10. Fathom Neural Compute Stick

    Movidius packt Deep Learning in einen USB-Stick



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
PGP im Parlament: Warum mein Abgeordneter keine PGP-Mail öffnen kann
PGP im Parlament
Warum mein Abgeordneter keine PGP-Mail öffnen kann

Nordrhein-Westfalen: Deutsche Telekom beginnt mit Micro-Trenching für Glasfaser
Nordrhein-Westfalen
Deutsche Telekom beginnt mit Micro-Trenching für Glasfaser
  1. FTTH Deutsche Glasfaser will schnell eine Million anschließen
  2. M-net Glasfaser für 70 Prozent der Münchner Haushalte
  3. FTTH Telekom wird 1 GBit/s für Selbstbauer überall anbieten

Mirror's Edge Catalyst angespielt: Flow mit Faith und fallen
Mirror's Edge Catalyst angespielt
Flow mit Faith und fallen

  1. Re: Spielt man sowas noch?

    Das... | 13:43

  2. Re: Milliarden fließen in Filmrechte für Prime-Kunden

    Nobunaga | 13:42

  3. Re: Wozu? Sinnlos verschwendete Lebenszeit (kwt)

    Nemesis2002 | 13:40

  4. Re: Spiele Studios veröffentlichen nur noch Mist !

    Carlo Escobar | 13:37

  5. Re: Black & White war ein echt mieses Spiel

    Keridalspidialose | 13:35


  1. 11:42

  2. 10:08

  3. 09:16

  4. 13:13

  5. 12:26

  6. 11:03

  7. 09:01

  8. 00:05


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel