Abo
  • Services:
Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Anzeige

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?



Anzeige

Stellenmarkt
  1. operational services GmbH & Co. KG, Braunschweig
  2. Birkenstock GmbH & Co. KG Services, Neustadt (Wied)
  3. PHOENIX CONTACT GmbH & Co. KG, Blomberg
  4. Wirecard Technologies GmbH, Aschheim bei München


Anzeige
Spiele-Angebote
  1. 4,99€
  2. 8,99€
  3. 10% Rabatt auf ausgewählte Top Gaming Artikel mit dem Gutscheincode: PICKYOURLOOT

Folgen Sie uns
       


  1. Apache-Lizenz 2.0

    OpenSSL-Lizenzwechsel führt zu Code-Entfernungen

  2. Knights Mill

    Intels Xeon Phi hat 72 Kerne und etwas Netburst

  3. Redstone 3

    Microsoft entfernt Refs-Formatierung von Windows 10 Pro

  4. Unsichere Passwörter

    Angriffe auf Microsoft-Konten um 300 Prozent gestiegen

  5. Polar vs. Fitbit

    Duell der Schlafexperten

  6. HP

    Omen-X-Laptop ist ein 4K-Klotz mit übertakteter GTX 1080

  7. Scorpio Engine

    Microsoft erläutert SoC der Xbox One X

  8. Anno 1800

    "Was für ein Wunderwerk der Technik"

  9. Energy Harvesting

    Biobrennstoffzelle erzeugt Strom aus Schweiß

  10. Neue Firmware

    Zwangsupdate für DJIs Spark-Drohne gegen Abstürze



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Starcraft Remastered im Test: Klick, klick, klick, klick, klick als wär es 1998
Starcraft Remastered im Test
Klick, klick, klick, klick, klick als wär es 1998
  1. Blizzard Der Name Battle.net bleibt
  2. Starcraft Remastered "Mit den Protoss kann man seinen Gegner richtig nerven!"
  3. E-Sport Blizzard nutzt Gamescom für europäische WoW-Finalspiele

Fujitsu Lifebook U937 im Test: 976 Gramm reichen für das fast perfekte Notebook
Fujitsu Lifebook U937 im Test
976 Gramm reichen für das fast perfekte Notebook
  1. DLU Fujitsu entwickelt Deep-Learning-Chips
  2. Celsius-Workstations Fujitsu bringt sichere Notebooks und kabellose Desktops

Game of Thrones: Die Kunst, Fiktion mit Wirklichkeit zu verschmelzen
Game of Thrones
Die Kunst, Fiktion mit Wirklichkeit zu verschmelzen
  1. HBO Nächste Episode von Game of Thrones geleakt
  2. Hack Game-of-Thrones-Skript von HBO geleakt
  3. Game of Thrones "Der Winter ist da und hat leider unsere Server eingefroren"

  1. Re: Wie kann man ein Patend darauf beantragen?

    the_wayne | 13:14

  2. Re: Also sage seit Jahren das das Handy gesperrt...

    nurmalsoamrande | 13:14

  3. Re: Passwortsystem

    non_existent | 13:13

  4. Re: 3rd Person wie in SCUM

    deutscher_michel | 13:12

  5. Re: Bitcoin ist von Haus aus nicht anonym....

    Reudiga | 13:09


  1. 13:00

  2. 13:00

  3. 12:45

  4. 12:30

  5. 12:11

  6. 12:10

  7. 12:04

  8. 11:30


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel