Abo
  • Services:
Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Anzeige

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?



Anzeige

Stellenmarkt
  1. Landeshauptstadt München, München
  2. Optica Abrechnungszentrum Dr. Güldener GmbH, Nittenau Raum Regensburg
  3. Müller-BBM Acoustic Solutions GmbH, München-Planegg
  4. LEDVANCE GmbH, München


Anzeige
Spiele-Angebote
  1. 209,99€/219,99€ (Vorbesteller-Preisgarantie)
  2. 149,99€
  3. 69,99€/149,99€/79,99€ (Vorbesteller-Preisgarantie)

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Mehr dazu im aktuellen Whitepaper von SAS Institute
  2. Mehr dazu im aktuellen Whitepaper von SAS Institute
  3. Mehr dazu im aktuellen Whitepaper von SAS Institute


  1. Quadro P6000/P5000

    Nvidia kündigt Profi-Karten mit GP02-Vollausbau an

  2. Jahresgehalt

    Erfahrene Softwareentwickler verdienen 55.500 Euro

  3. Sync 3

    Ford bringt Carplay und Android Auto in alle 2017er-Modelle

  4. Netzwerk

    Mehrere regionale Mobilfunkausfälle bei Vodafone

  5. Hello Games

    No Man's Sky braucht kein Plus und keine Superformel

  6. Master Key

    Hacker gelangen per Reverse Engineering an Gepäckschlüssel

  7. 3D-Druck

    Polizei will Smartphone mit nachgemachtem Finger entsperren

  8. Modesetting

    Debian und Ubuntu verzichten auf Intels X11-Treiber

  9. Elementary OS Loki im Test

    Hübsch und einfach kann auch kompliziert sein

  10. Mobilfunkausrüster

    Ericsson feuert seinen Konzernchef



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Festplatten mit Flash-Cache: Das Konzept der SSHD ist gescheitert
Festplatten mit Flash-Cache
Das Konzept der SSHD ist gescheitert
  1. Ironwolf, Skyhawk und Barracuda Drei neue 10-TByte-Modelle von Seagate
  2. 3PAR-Systeme HPE kündigt 7,68- und 15,36-TByte-SSDs an
  3. Dells XPS 13 mit Ubuntu im Test Endlich ein Top-Notebook mit Linux!

Nuki Smart Lock im Test: Ausgesperrt statt aufgesperrt
Nuki Smart Lock im Test
Ausgesperrt statt aufgesperrt

Xiaomi Mi Band 2 im Hands on: Fitness-Preisbrecher mit Hack-App
Xiaomi Mi Band 2 im Hands on
Fitness-Preisbrecher mit Hack-App
  1. Xiaomi Hugo Barra verkündet Premium-Smartphone
  2. Redmi 3S Xiaomis neues Smartphone kostet umgerechnet 95 Euro
  3. Mi Band 2 Xiaomis neues Fitness-Armband mit Pulsmesser kostet 20 Euro

  1. Re: Nur 12 Tflops?

    zomtech | 04:13

  2. Re: Schon wieder das Märchen von den IT-Gehältern

    phex | 03:34

  3. LBRY's Blockchain-Based Netflix-Killer Is Now in Beta

    tobsn | 03:23

  4. Moorhuhn, Pornos, Masturbation, Vergewaltiger

    Braineh | 03:07

  5. Re: Wenn man es drauf hat -> Go Freelance

    Trockenobst | 03:05


  1. 22:45

  2. 18:35

  3. 17:31

  4. 17:19

  5. 15:58

  6. 15:15

  7. 14:56

  8. 12:32


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel