Abo
  • Services:
Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Anzeige

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?



Anzeige

Stellenmarkt
  1. INEOS Styrolution Group GmbH, Frankfurt am Main
  2. Universität Passau, Passau
  3. DYNAMIC ENGINEERING GMBH, München
  4. HELUKABEL GmbH, Hemmingen bei Stuttgart


Anzeige
Hardware-Angebote
  1. 94,90€ statt 109,90€
  2. und Gears of War 4 gratis erhalten
  3. (Core i5-6500 + Geforce GTX 1060)

Folgen Sie uns
       

Anzeige
Whitepaper
  1. IoT-Erfahrungswerte und IoT-Projekterkenntnisse
  2. Mehr dazu im aktuellen Whitepaper von Freudenberg IT
  3. Evolutionäre und rasante Veränderungen durch Industrie 4.0


  1. Microsoft

    Besucher können die Hololens im Kennedy Space Center nutzen

  2. MacOS 10.12

    Fujitsu warnt vor der Nutzung von Scansnap unter Sierra

  3. IOS 10.0.2

    Apple beseitigt Ausfälle der Lightning-Audio-Kontrollen

  4. Galaxy Note 7

    Samsung tauscht das Smartphone vor der Haustür aus

  5. Falcon-9-Explosion

    SpaceX grenzt Explosionsursache ein

  6. Die Woche im Video

    Schneewittchen und das iPhone 7

  7. 950 Euro

    Abmahnwelle zu Pornofilm-Filesharing von Betrügern

  8. Jailbreak

    19-Jähriger will iPhone-7-Exploit für sich behalten

  9. Alle drei Netze

    Ericsson und Icomera bauen besseres Bahn-WLAN

  10. Oculus Rift

    Palmer Luckey im Netz als Trump-Unterstützer geoutet



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Berlin-Wahl: Wo sind all die Piraten-Wähler hin?
Berlin-Wahl
Wo sind all die Piraten-Wähler hin?
  1. Störerhaftung Auf Wiedersehen vor dem EuGH
  2. EuGH zu Störerhaftung Bei Verstößen droht Hotspot-Anbietern Nutzerregistrierung
  3. Europäisches Parlament Netzsperren - Waffe gegen Terror oder Zensur?

Forza Horizon 3 im Test: Autoparadies Australien
Forza Horizon 3 im Test
Autoparadies Australien
  1. Forza Motorsport 6 PC-Rennspiel Apex fährt aus der Beta
  2. Microsoft Play Anywhere gilt für alle Spiele der Microsoft Studios

Original und Fork im Vergleichstest: Nextcloud will das bessere Owncloud sein
Original und Fork im Vergleichstest
Nextcloud will das bessere Owncloud sein
  1. Koop mit Canonical und WDLabs Nextcloud Box soll eigenes Hosten ermöglichen
  2. Kollaborationsserver Nextcloud 10 verbessert Server-Administration
  3. Open Source Nextcloud setzt sich mit Enterprise-Support von Owncloud ab

  1. Re: Ist das Betrug

    cg089 | 12:32

  2. Re: Quatsch, veräppelt doch die Jugend

    rikimaru | 12:24

  3. Re: Da fehlt was!!!

    meav33 | 12:13

  4. Re: legaler rücktransport nahezu unmöglich

    Topf | 12:13

  5. Re: Wenn ich "Sierra" lese, denke ich sofort an..

    Siberian Husky | 12:07


  1. 12:51

  2. 11:50

  3. 11:30

  4. 11:13

  5. 11:03

  6. 09:00

  7. 18:52

  8. 17:54


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel