Abo
  • Services:
Anzeige
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Anzeige

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


eye home zur Startseite
wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?



Anzeige

Stellenmarkt
  1. operational services GmbH & Co. KG, Stuttgart
  2. über Ratbacher GmbH, Bodenseeregion
  3. Robert Bosch GmbH, Plochingen
  4. BASF Services Europe GmbH, Berlin


Anzeige
Hardware-Angebote
  1. und Samsung Galaxy S7 edge, Galaxy S7 oder Galaxy Tab E gratis erhalten
  2. 379,90€

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Mehr dazu im aktuellen Whitepaper von Freudenberg IT
  2. Leitfaden für den gezielten Einsatz von SAP HANA
  3. Unternehmensweites Dokumenten- und Wissensmanagement


  1. Red Star OS

    Sicherheitslücke in Nordkoreas Staats-Linux

  2. Elektroauto

    Porsche will 20.000 Elektrosportwagen pro Jahr verkaufen

  3. TV-Kabelnetz

    Tele Columbus will Marken abschaffen

  4. Barrierefreiheit

    Microsofts KI hilft Blinden in Office

  5. AdvanceTV

    Tele Columbus führt neue Set-Top-Box für 4K vor

  6. Oculus Touch im Test

    Tolle Tracking-Controller für begrenzte Roomscale-Erfahrung

  7. 3D Xpoint

    Intels Optane-SSDs erscheinen nicht mehr 2016

  8. Webprogrammierung

    PHP 7.1 erweitert Nullen und das Nichts

  9. VSS Unity

    Virgin Galactic testet neues Raketenflugzeug

  10. Google, Apple und Mailaccounts

    Zwei-Faktor-Authentifizierung richtig nutzen



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Astrohaus Freewrite im Test: Schreibmaschine mit Cloud-Anschluss und GPL-Verstoß
Astrohaus Freewrite im Test
Schreibmaschine mit Cloud-Anschluss und GPL-Verstoß
  1. Cisco Global Cloud Index Bald sind 90 Prozent der Workloads in Cloud-Rechenzentren
  2. Cloud Computing Hyperkonvergenz packt das ganze Rechenzentrum in eine Kiste
  3. Cloud Computing Was ist eigentlich Software Defined Storage?

HTC 10 Evo im Kurztest: HTCs eigenwillige Evolution
HTC 10 Evo im Kurztest
HTCs eigenwillige Evolution
  1. Virtual Reality HTC stellt Drahtlos-Kit für Vive vor
  2. Google Im Pixel steckt wohl mehr HTC als gedacht
  3. Desire 10 Lifestyle HTC stellt noch ein Mittelklasse-Smartphone für 300 Euro vor

Udacity: Selbstfahrendes Auto selbst programmieren
Udacity
Selbstfahrendes Auto selbst programmieren
  1. Strategiepapier EU fordert europaweite Standards für vernetzte Autos
  2. Autonomes Fahren Comma One veröffentlicht Baupläne für Geohot-Nachrüstsatz
  3. Autonomes Fahren Intel baut Prozessoren für Delphi und Mobileye

  1. Re: Achtung: Google Authenticator und neue Handys

    Pjörn | 06:34

  2. Android Smartphones für 2nd Factor Auth

    Questor | 06:26

  3. Induktiv laden gehört verboten

    B.I.G | 05:26

  4. Re: Oder aber er kostet gar nichts

    Moe479 | 05:12

  5. Re: Download Link für Red Star OS 3.0 Desktop

    Moe479 | 05:06


  1. 17:25

  2. 17:06

  3. 16:53

  4. 16:15

  5. 16:02

  6. 16:00

  7. 15:00

  8. 14:14


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel