Freier Webindex: Blekko spendet 22 Milliarden Webseiten an Common Crawl
Mehr Daten für den freien Webindex der Common Crawl Foundation (Bild: Common Crawl Foundation)

Freier Webindex Blekko spendet 22 Milliarden Webseiten an Common Crawl

Die Suchmaschine Blekko stellt ihre Suchdaten zu rund 22 Milliarden Webseiten ab sofort der Common Crawl Foundation zur Verfügung. Die Stiftung stellt einen Webindex samt Metadaten wie Pagerank und Link-Graph zur Verfügung, den jeder frei nutzen kann.

Anzeige

Daten, die bislang nur großen Suchmaschinenbetreibern zur Verfügung standen, sollen so für alle zugänglich werden, das ist das Ziel der Common Crawl Foundation. Sie will den Zugang zu Webinformationen demokratisieren und dazu ein offenes Repository mit Crawl-Daten aus dem Web bereitstellen. Gestartet ist das von Gil Elbaz gestartete Projekt im November 2011 mit einem Index von rund 5 Milliarden Webseiten.

Dieser Datensatz soll nun besser werden: Die Suchmaschine Blekko stellt ständig aktualisierte Daten von rund 140 Millionen Websites mit insgesamt rund 22 Milliarden Webseiten zur Verfügung. Schon jetzt stellt Blekko anderen seine Suchergebnisse per API zur Verfügung.

Common Crawl soll Blekkos Daten vor allem nutzen, um seine eigenen Crawler zu verbessern, damit diese Webspam, Pornos und andere ausufernde SEO-Webseiten umgehen können. So soll die Stiftung ihre Ressourcen effizienter einsetzen können, um Webseiten zu erfassen, die von Menschen für Menschen erstellt werden.

Die Daten der Common Crawl Foundation stehen bei Amazon S3 zum Download bereit. Zudem wird ein Image für Amazon EC2 angeboten, mit dem die Daten direkt per Map-Reduce verarbeitet werden können, ohne dass das gesamte Archiv heruntergeladen werden muss. Zudem gibt es Archive mit Metadaten sowie ein Archiv mit den reinen Textdaten der Webseite.

Gedacht sind die Daten vor allem für Forscher. Diesen will die Common Crawl Foundation auf diesem Weg einen umfangreichen Auszug des Webs zur Verfügung stellen, mit dem sie arbeiten können, ohne eine eigene Crawler-Infrastruktur aufsetzen zu müssen.

Der aktuelle Datensatz wurde zwischen dem 15. Februar 2012 und dem 29. November 2012 erstellt und umfasst rund 81 TByte.


Kommentieren



Anzeige

  1. IT-Service Continuity Manager (m/w)
    Techniker Krankenkasse, Hamburg
  2. Web-Entwickler/in C# / ASP.NET
    TROST AUTO SERVICE TECHNIK SE, Stuttgart
  3. JAVA und PL/1 Developer (m/w) für Systemdesign und Programmierung
    KfW Bankengruppe, Berlin
  4. Senior Network Engineer - Voice Projects (m/w)
    Bayer Business Services GmbH, Leverkusen

 

Detailsuche


Folgen Sie uns
       


  1. Lumina

    PC-BSD zeigt Fortschritte des eigenen Desktops

  2. Cloud

    Niedrigerer Preis und neue Funktionen bei Dropbox

  3. Dragon Age Inquisition

    Multiplayer mit Mikrotransaktionen

  4. Lyft

    Uber soll Konkurrenten mit unsauberen Methoden bekämpfen

  5. Enlightenment

    E19 bekommt offiziell neuen Wayland-Compositor

  6. Cybercrime

    BKA fordert Gesetze zur Ermittlung von Tor-Nutzern

  7. Chrome 37

    Besseres Font-Rendering und 64 Bit für Windows

  8. Neues Instrument Holometer

    Ist unser Universum zweidimensional?

  9. Koei Tecmo

    Capcom sieht Patentverletzungen in 50 Spielen

  10. Windows on Devices

    Großes Betriebssystem auf kleinem Rechner



Haben wir etwas übersehen?

E-Mail an news@golem.de



Breitbandausbau: Netzbetreiber und Regierung schachern um Netzneutralität
Breitbandausbau
Netzbetreiber und Regierung schachern um Netzneutralität
  1. Mobiles Internet Roaming-Gebühren benachteiligen Grenzregionen
  2. Digitale Agenda Bitkom fordert komplette Nutzung des 700-Megahertz-Bandes
  3. Digitale Agenda 38 Seiten Angst vor festen Zusagen

Spiele auf dem Oculus Rift DK2: Manchmal klappt es, manchmal nicht
Spiele auf dem Oculus Rift DK2
Manchmal klappt es, manchmal nicht
  1. Oculus Rift Geld für gefundene Sicherheitslücken
  2. Virtuelle Realität Hüft-OP mit Oculus Rift und zwei Gopro-Kameras
  3. Oculus Rift Valve aktualisiert SteamVR für das DK2

Sofia: Der fliegende Blick durch den Staub
Sofia
Der fliegende Blick durch den Staub
  1. Audio aus Video Gefilmte Topfpflanze verrät Gespräche
  2. Nahrungsmittel Trinken statt Essen
  3. Bioelektronik Pilze sind die besten Zellschnittstellen

    •  / 
    Zum Artikel