Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Nutch 2.0 Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Anzeige

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.


wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?

Kommentieren



Anzeige

  1. Anwendungs- / Softwareberater/in Business Intelligence (BI)
    Robert Bosch GmbH, Stuttgart-Feuerbach
  2. Junior SAP Basis Berater (m/w)
    OEDIV KG, Bielefeld
  3. IT-Anwendungsbetreuer/in System- und Netzwerktechnik
    Große Kreisstadt Freising, Freising
  4. SAP-PM Projektbetreuer (m/w)
    Stadtwerke Schwerin GmbH, Schwerin

 

Detailsuche


Spiele-Angebote
  1. NUR NOCH HEUTE: PS4-Spiele reduziert
    (u. a. Lego der Hobbit 26,72€, The Crew 29,19€, Assassins Creed Unity 29,19€, The Wolf Among...
  2. Games-Downloads Angebote
    (u. a. Bioshock Infinite 7,49€, Xcom Enemy Unknown 4,99€, Boderlands 2 7,49€)
  3. The Witcher 3: Wild Hunt
    44,99€ USK 18

 

Weitere Angebote


Folgen Sie uns
       


  1. Telefonie und Internet

    Störungen bei O2 und 1und1 in Berlin

  2. Telltale

    Details und Trailer zu Minecraft Story Mode veröffentlicht

  3. Geheimdienst

    NSA spähte Dutzende Telefone der Regierung Brasiliens aus

  4. Raumfahrt

    Russisches Versorgungsschiff erreicht ISS

  5. UNHRC

    Die UNO hat einen Sonderberichterstatter für Datenschutz

  6. Nordamerika

    Arin aktiviert Wartelistensystem für IPv4-Adressen

  7. Modellreihe CUH-1200

    Neue PS4 nutzt halb so viele Speicherchips

  8. Die Woche im Video

    Apple Music gestartet, Netzneutralität bedroht, NSA geleakt

  9. Internet.org

    Mark Zuckerberg will Daten per Laser auf die Erde übertragen

  10. TLC-Flash

    Samsung plant SSDs mit 2 und 4 TByte



Haben wir etwas übersehen?

E-Mail an news@golem.de



Intel Compute Stick im Test: Der mit dem Lüfter streamt
Intel Compute Stick im Test
Der mit dem Lüfter streamt
  1. Management Intel-Präsidentin tritt zurück und Mobile-Chef muss gehen
  2. FPGAs Intel wird Kauf von Altera heute ankündigen
  3. FPGAs Intel will FPGA-Experten Altera doch noch kaufen

Hanson Robotics: Technik, die dir zuzwinkert
Hanson Robotics
Technik, die dir zuzwinkert
  1. VW Tödlicher Arbeitsunfall mit einem Roboter
  2. Biomimetik Gepanzerter Roboter kriecht durch Ritzen wie eine Kakerlake
  3. Darpa Robotics Challenge Hubo ist der beste Roboter für den Katastrophenfall

Batman Arkham Knight im Test: Es ist kompliziert ...
Batman Arkham Knight im Test
Es ist kompliziert ...
  1. Arkham Knight Erster PC-Patch für Batman
  2. Technische Probleme Batman Arkham Knight nicht mehr auf Steam erhältlich

  1. Re: Das Dach der Busse mit Solarzellen pflastern...

    plutoniumsulfat | 14:50

  2. Re: Hat die BVG zu viel Geld?

    plutoniumsulfat | 14:46

  3. Re: zu leise gibt es nicht

    plutoniumsulfat | 14:45

  4. Re: Dresden hat die Klimaproblematik listig gelöst..

    plutoniumsulfat | 14:45

  5. Re: Nicht so schwer zu verstehen

    plutoniumsulfat | 14:44


  1. 14:50

  2. 14:34

  3. 12:32

  4. 12:17

  5. 14:04

  6. 11:55

  7. 10:37

  8. 09:33


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel