Nutch 2.0: Freie Suchmaschine mit flexiblem Datenbank-Backend

Die freie Suchmaschine Apache Nutch ist in der Version 2.0 erschienen. Mit Nutch lässt sich das Web ebenso crawlen und indexieren wie das eigene Intranet. Die Inhalte lassen sich dann über eine Suche verfügbar machen.

Artikel veröffentlicht am ,
Nutch 2.0 veröffentlicht
Nutch 2.0 veröffentlicht (Bild: Apache)

Das Suchframework Nutch ist in Java geschrieben und setzt auf anderen Apache-Projekten wie Solr, Tika, Hadoop und Gora auf. Nutch crawlt das Web, parst HTML-Seiten sowie verschiedene andere Dokumentenformate und erstellt daraus eine Link-Datenbank.

Stellenmarkt
  1. Prozessmanager (w/m/d) Digitalisierung
    Stadt Erlangen, Erlangen
  2. IT-Mitarbeiter (m/w/d) mit Schwerpunkt Informationssicherheit und Einführung TISAX/ISO 27001
    F. E. R. fischer Edelstahlrohre GmbH, Achern-Fautenbach
Detailsuche

In der Version 2.0 setzt Nutch auf eine einfache, tabellenartige Datenbankstruktur, wie man sie im NoSQL-Umfeld findet. Über die Abstraktionsschicht Apache Gora lassen sich verschiedene Backends zum Speichern der Daten verwenden, darunter die Apache-Projekte Accumulo, Avro, Cassandra, HBase, HDFS sowie verschiedene SQL-Datenbanken. Nutch bietet aber auch einen eigenen Data-Store, der die Daten im Speicher hält.

Rund zwei Jahre hat die Entwicklung von Nutch 2.0 gedauert, das vom einzelnen Server bis hin zum großen Cluster skalieren soll und sich dabei den eigenen Bedürfnissen anpassen lässt. Über Plugins können Entwickler die Unterstützung weiterer Dokumentenformate ergänzen.

Kalooga betreibt einen Cluster von 34 Hadoop-Servern, auf dem mehr als eine Milliarde Webseiten gespeichert sind, die mit Nutch gecrawlt werden. Jeden Monat wächst der Bestand um mehrere Millionen Webseiten.

Golem Akademie
  1. Cloud Computing mit Amazon Web Services (AWS)
    18.-20. Oktober 2021, Online
  2. OpenShift Installation & Administration
    9.-11. August 2021, online
Weitere IT-Trainings

Apache Nutch ist Open Source und steht unter der Apache License v2.0. Die Software kann unter nutch.apache.org heruntergeladen werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Star Trek
Playmobil bringt 1 Meter langes Enterprise-Spielset

Star Treks klassische Enterprise NCC-1701 kommt mit den Hauptcharakteren, Phasern und Tribbles sowie einem Standfuß und einer Deckenhalterung.

Star Trek: Playmobil bringt 1 Meter langes Enterprise-Spielset
Artikel
  1. Materialforschung: Leichtes Schallschutzmaterial für leisere Luftfahrt
    Materialforschung
    Leichtes Schallschutzmaterial für leisere Luftfahrt

    Das Material wiegt nicht einmal ein Zehntel so viel wie heute eingesetzter Schaum zur Schalldämmung. Einsatzmöglichkeiten sehen die Erfinder vor allem in der Luftfahrt.

  2. Akkutechnik und E-Mobilität: Natrium-Ionen-Akkus werden echte Lithium-Alternative
    Akkutechnik und E-Mobilität
    Natrium-Ionen-Akkus werden echte Lithium-Alternative

    Faradion und der Tesla-Zulieferer CATL produzieren erste Natrium-Ionen-Akkus mit der Energiedichte von LFP. Sie sind kälteresistenter, sicherer und lithiumfrei.
    Von Frank Wunderlich-Pfeiffer

  3. World of Warcraft, Pokémon, Bitcoin: Moba Pokémon Unite startet schon bald
    World of Warcraft, Pokémon, Bitcoin
    Moba Pokémon Unite startet schon bald

    Sonst noch was? Was am 18. Juni 2021 neben den großen Meldungen sonst noch passiert ist, in aller Kürze.

wrnr 11. Jul 2012

Kennt wer http://yacy.net/de/ und kann berichten, wie sich yacy und nutch unterscheiden?


Folgen Sie uns
       


Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • Orange Week bei Cyberport: bis zu 70% Rabatt (u. a. WD Black SN750 1TB 109,90€) • Prime-Filme leihen für je 0,99€ • Weekend Deals (u. a. Seagate Expansion+ 4TB 89,90€) • 10% auf Gaming bei Ebay (u. a. AMD Ryzen 7 5800X 350,91€) • Apple Weekend bei MediaMarkt [Werbung]
    •  /