Mehr Daten für den freien Webindex der Common Crawl Foundation
Mehr Daten für den freien Webindex der Common Crawl Foundation (Bild: Common Crawl Foundation)

Freier Webindex Blekko spendet 22 Milliarden Webseiten an Common Crawl

Die Suchmaschine Blekko stellt ihre Suchdaten zu rund 22 Milliarden Webseiten ab sofort der Common Crawl Foundation zur Verfügung. Die Stiftung stellt einen Webindex samt Metadaten wie Pagerank und Link-Graph zur Verfügung, den jeder frei nutzen kann.

Anzeige

Daten, die bislang nur großen Suchmaschinenbetreibern zur Verfügung standen, sollen so für alle zugänglich werden, das ist das Ziel der Common Crawl Foundation. Sie will den Zugang zu Webinformationen demokratisieren und dazu ein offenes Repository mit Crawl-Daten aus dem Web bereitstellen. Gestartet ist das von Gil Elbaz gestartete Projekt im November 2011 mit einem Index von rund 5 Milliarden Webseiten.

Dieser Datensatz soll nun besser werden: Die Suchmaschine Blekko stellt ständig aktualisierte Daten von rund 140 Millionen Websites mit insgesamt rund 22 Milliarden Webseiten zur Verfügung. Schon jetzt stellt Blekko anderen seine Suchergebnisse per API zur Verfügung.

Common Crawl soll Blekkos Daten vor allem nutzen, um seine eigenen Crawler zu verbessern, damit diese Webspam, Pornos und andere ausufernde SEO-Webseiten umgehen können. So soll die Stiftung ihre Ressourcen effizienter einsetzen können, um Webseiten zu erfassen, die von Menschen für Menschen erstellt werden.

Die Daten der Common Crawl Foundation stehen bei Amazon S3 zum Download bereit. Zudem wird ein Image für Amazon EC2 angeboten, mit dem die Daten direkt per Map-Reduce verarbeitet werden können, ohne dass das gesamte Archiv heruntergeladen werden muss. Zudem gibt es Archive mit Metadaten sowie ein Archiv mit den reinen Textdaten der Webseite.

Gedacht sind die Daten vor allem für Forscher. Diesen will die Common Crawl Foundation auf diesem Weg einen umfangreichen Auszug des Webs zur Verfügung stellen, mit dem sie arbeiten können, ohne eine eigene Crawler-Infrastruktur aufsetzen zu müssen.

Der aktuelle Datensatz wurde zwischen dem 15. Februar 2012 und dem 29. November 2012 erstellt und umfasst rund 81 TByte.


Kommentieren



Anzeige

  1. Ingenieur Elektrotechnik / Informationstechniker (m/w)
    IT Solutions GmbH, Frankfurt am Main
  2. Software Application Engineer E-Commerce (m/w)
    Home Shopping Europe GmbH, Ismaning (Raum München)
  3. IT-Anforderungs- und Projektmanager (m/w)
    Stadtwerke München GmbH, München
  4. Mitarbeiter / Mitarbeiterin für IT-Systemadministration
    Bundesvereinigung Lebenshilfe e. V., Marburg

 

Detailsuche


Folgen Sie uns
       


  1. Panasonic Lumix DMC-LX100 im Test

    Kamera zum Begeistern und zum Verzweifeln

  2. Kanzlerhandy

    Bundesanwaltschaft will NSA-Ermittlungsverfahren einstellen

  3. Internetsuche

    EU-Parlamentarier erwägen Google-Aufspaltung

  4. 15 Jahre Unreal Tournament

    Spiel, Bot und Sieg

  5. Inmarsat und Alcatel Lucent

    Internetzugang im Flugzeug mit 75 MBit/s

  6. Managed Apps

    Unternehmen können App-Store von Windows 10 anpassen

  7. Elektronikdiscounter

    Wie Preisvergleichsdienste ausgehebelt werden

  8. Open Data

    Cern befreit LHC-Kollisionsdaten

  9. Multimediabibliothek

    FFmpeg dank Debian wieder in Ubuntu

  10. Valve Software

    Neue Richtlinien für Early Access



Haben wir etwas übersehen?

E-Mail an news@golem.de



Test Far Cry 4: Action und Abenteuer auf hohem Niveau
Test Far Cry 4
Action und Abenteuer auf hohem Niveau

Yoga Tablet 2 Pro im Test: Das Tablet mit dem eingebauten Kino
Yoga Tablet 2 Pro im Test
Das Tablet mit dem eingebauten Kino
  1. Lenovos Yoga Tablet 2 im Test Das Tablet mit dem Aufhänger
  2. Motorola Lenovo übernimmt Googles Smartphone-Sparte
  3. Yoga Tablet 2 Pro Lenovos 13-Zoll-Tablet mit Projektor und Subwoofer

Test GTA 5 Next Gen: Schöner leben und sterben in Los Santos
Test GTA 5 Next Gen
Schöner leben und sterben in Los Santos
  1. Rockstar Games Sehr bald Raubüberfälle in GTA Online
  2. GTA 5 Altes und neues Los Santos im Vergleich
  3. GTA 5 neue Version angespielt Vollwertige Ich-Perspektive für Los Santos

    •  / 
    Zum Artikel