Abo
  • Services:
Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Anzeige

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?



Anzeige

Stellenmarkt
  1. Landeshauptstadt München, München
  2. Gemeinnützige Werkstätten und Wohnstätten GmbH, Gärtringen
  3. Bundesinstitut für Arzneimittel und Medizinprodukte (BfArM), Bonn
  4. T-Systems International GmbH, Aachen


Anzeige
Spiele-Angebote
  1. 4,99€
  2. 1,49€
  3. 8,99€

Folgen Sie uns
       


  1. Trotz Förderung

    Breitbandausbau kommt nur schleppend voran

  2. Nvidia

    Keine Volta-basierten Geforces in 2017

  3. Grafikkarte

    Sonnets eGFX Breakaway Box kostet 330 Euro

  4. E-Commerce

    Kartellamt will Online-Shops des Einzelhandels schützen

  5. id Software

    Quake Champions startet in den Early Access

  6. Betrug

    Verbraucherzentrale warnt vor gefälschten Youporn-Mahnungen

  7. Lenovo

    Smartphone- und Servergeschäft sorgen für Verlust

  8. Open Source Projekt

    Oracle will Java EE abgeben

  9. Apple iPhone 5s

    Hacker veröffentlicht Secure-Enclave-Key für alte iPhones

  10. Forum

    Reddit bietet native Unterstützung von Videos



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Starcraft Remastered: "Mit den Protoss kann man seinen Gegner richtig nerven!"
Starcraft Remastered
"Mit den Protoss kann man seinen Gegner richtig nerven!"
  1. Blizzard Der Name Battle.net bleibt
  2. Blizzard Overwatch bekommt Deathmatches
  3. E-Sport Blizzard nutzt Gamescom für europäische WoW-Finalspiele

Game of Thrones: Die Kunst, Fiktion mit Wirklichkeit zu verschmelzen
Game of Thrones
Die Kunst, Fiktion mit Wirklichkeit zu verschmelzen
  1. HBO Nächste Episode von Game of Thrones geleakt
  2. Hack Game-of-Thrones-Skript von HBO geleakt
  3. Game of Thrones "Der Winter ist da und hat leider unsere Server eingefroren"

Radeon RX Vega 64 im Test: Schnell und durstig mit Potenzial
Radeon RX Vega 64 im Test
Schnell und durstig mit Potenzial
  1. Radeon RX Vega Mining-Treiber steigert MH/s deutlich
  2. Radeon RX Vega 56 im Test AMD positioniert sich in der Mitte
  3. Workstation AMD bringt Radeon Pro WX 9100

  1. Re: Deshalb braucht man Konkurrenz

    narfomat | 11:20

  2. Re: Die Menschen schauen gerne in die...

    Ispep | 11:18

  3. ..

    senf.dazu | 11:11

  4. Re: Kleine Onlineshops: Zu teuer, schlechter...

    Ispep | 11:10

  5. Re: Und warum ist das "lästig"?

    Hello_World | 11:05


  1. 11:21

  2. 17:56

  3. 16:20

  4. 15:30

  5. 15:07

  6. 14:54

  7. 13:48

  8. 13:15


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel