Abo
  • Services:
Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Anzeige

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?



Anzeige

Stellenmarkt
  1. Daimler AG, Sindelfingen
  2. Bosch Service Solutions Magdeburg GmbH, Berlin
  3. OEDIV KG, Bielefeld
  4. operational services GmbH & Co. KG, Berlin, Frankfurt, Nürnberg, Zwickau, Dresden


Anzeige
Hardware-Angebote
  1. 6,99€
  2. (reduzierte Überstände, Restposten & Co.)
  3. 64,90€ + 3,99€ Versand

Folgen Sie uns
       


  1. Mirai-Nachfolger

    Experten warnen vor "Cyber-Hurrican" durch neues Botnetz

  2. Europol

    EU will "Entschlüsselungsplattform" ausbauen

  3. Krack-Angriff

    AVM liefert erste Updates für Repeater und Powerline

  4. Spieleklassiker

    Mafia digital bei GoG erhältlich

  5. Air-Berlin-Insolvenz

    Bundesbeamte müssen videotelefonieren statt zu fliegen

  6. Fraport

    Autonomer Bus im dichten Verkehr auf dem Flughafen

  7. Mixed Reality

    Microsoft verdoppelt Sichtfeld der Hololens

  8. Nvidia

    Shield TV ohne Controller kostet 200 Euro

  9. Die Woche im Video

    Wegen Krack wie auf Crack!

  10. Windows 10

    Fall Creators Update macht Ryzen schneller



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Flettner-Rotoren: Wie Schiffe mit Stahlsegeln Treibstoff sparen
Flettner-Rotoren
Wie Schiffe mit Stahlsegeln Treibstoff sparen
  1. Hyperflight China plant superschnellen Vactrain
  2. Sea Bubbles Tragflächen-Elektroboote kommen nach Paris
  3. Honolulu Strafe für Handynutzung auf der Straße

Cybercrime: Neun Jahre Jagd auf Bayrob
Cybercrime
Neun Jahre Jagd auf Bayrob
  1. Antivirus Symantec will keine Code-Reviews durch Regierungen mehr
  2. Verschlüsselung Google schmeißt Symantec aus Chrome raus
  3. Übernahme Digicert kauft Zertifikatssparte von Symantec

Passwortmanager im Vergleich: Das letzte Passwort, das du dir jemals merken musst
Passwortmanager im Vergleich
Das letzte Passwort, das du dir jemals merken musst
  1. 30.000 US-Dollar Schaden Admin wegen Sabotage nach Kündigung verurteilt
  2. Cyno Sure Prime Passwortcracker nehmen Troy Hunts Hashes auseinander
  3. Passwortmanager Lastpass ab sofort doppelt so teuer

  1. Re: Das Spiel ist beendet.

    kotap | 02:17

  2. Re: Ich wäre ja mal froh wenn Golem sein...

    Desertdelphin | 00:55

  3. Re: Besser als GTA

    Erny | 00:40

  4. Re: halb so schlimm

    Apfelbrot | 00:40

  5. Re: Nicht die 1 TFLOPS sind erstaunlich sondern...

    Vielfalt | 00:31


  1. 14:50

  2. 13:27

  3. 11:25

  4. 17:14

  5. 16:25

  6. 15:34

  7. 13:05

  8. 11:59


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel