Freier Webindex: Blekko spendet 22 Milliarden Webseiten an Common Crawl
Mehr Daten für den freien Webindex der Common Crawl Foundation (Bild: Common Crawl Foundation)

Freier Webindex Blekko spendet 22 Milliarden Webseiten an Common Crawl

Die Suchmaschine Blekko stellt ihre Suchdaten zu rund 22 Milliarden Webseiten ab sofort der Common Crawl Foundation zur Verfügung. Die Stiftung stellt einen Webindex samt Metadaten wie Pagerank und Link-Graph zur Verfügung, den jeder frei nutzen kann.

Anzeige

Daten, die bislang nur großen Suchmaschinenbetreibern zur Verfügung standen, sollen so für alle zugänglich werden, das ist das Ziel der Common Crawl Foundation. Sie will den Zugang zu Webinformationen demokratisieren und dazu ein offenes Repository mit Crawl-Daten aus dem Web bereitstellen. Gestartet ist das von Gil Elbaz gestartete Projekt im November 2011 mit einem Index von rund 5 Milliarden Webseiten.

Dieser Datensatz soll nun besser werden: Die Suchmaschine Blekko stellt ständig aktualisierte Daten von rund 140 Millionen Websites mit insgesamt rund 22 Milliarden Webseiten zur Verfügung. Schon jetzt stellt Blekko anderen seine Suchergebnisse per API zur Verfügung.

Common Crawl soll Blekkos Daten vor allem nutzen, um seine eigenen Crawler zu verbessern, damit diese Webspam, Pornos und andere ausufernde SEO-Webseiten umgehen können. So soll die Stiftung ihre Ressourcen effizienter einsetzen können, um Webseiten zu erfassen, die von Menschen für Menschen erstellt werden.

Die Daten der Common Crawl Foundation stehen bei Amazon S3 zum Download bereit. Zudem wird ein Image für Amazon EC2 angeboten, mit dem die Daten direkt per Map-Reduce verarbeitet werden können, ohne dass das gesamte Archiv heruntergeladen werden muss. Zudem gibt es Archive mit Metadaten sowie ein Archiv mit den reinen Textdaten der Webseite.

Gedacht sind die Daten vor allem für Forscher. Diesen will die Common Crawl Foundation auf diesem Weg einen umfangreichen Auszug des Webs zur Verfügung stellen, mit dem sie arbeiten können, ohne eine eigene Crawler-Infrastruktur aufsetzen zu müssen.

Der aktuelle Datensatz wurde zwischen dem 15. Februar 2012 und dem 29. November 2012 erstellt und umfasst rund 81 TByte.


Kommentieren



Anzeige

  1. Senior Consultant / Projektmanager (m/w) Transportlogistik-Software
    PTV Planung Transport Verkehr AG, Karlsruhe
  2. Anwendungsentwickler (m/w) SAP für Bankprozesse
    Aareal Bank AG, Wiesbaden
  3. IT-Anwendungsbetreuer (m/w) Warenwirtschaftssystem
    Schopf Maschinenbau GmbH, Ostfildern
  4. Softwareentwickler/in
    Schleuniger GmbH, Radevormwald (Bergisches Land)

 

Detailsuche


Folgen Sie uns
       


  1. Crowdsourcing

    DGB kündigt Kampf gegen "moderne Sklaverei" an

  2. Thomas Voß

    "Mir ist in zwei Jahren relevanter als Wayland"

  3. Tor Browser

    Mit Meek gegen Zensoren

  4. Spacelift

    Der Fahrstuhl zu den Sternen

  5. Leistungsschutzrecht

    Kartellamt soll auf Vorgehen gegen Google formell verzichten

  6. Pono

    Neil Youngs Highres-Player kommt auch ohne Kickstarter

  7. Virgin Galactic

    Spaceship Two fliegt wieder

  8. Zuwachs

    Beschäftigungsrekord in der deutschen IT-Branche

  9. Systemd-Diskussion

    Debian könnte geforkt werden

  10. 3D-Druck ausprobiert

    Internetausdrucker 4.0



Haben wir etwas übersehen?

E-Mail an news@golem.de



iMac mit Retina 5K angeschaut: Eine Lupe könnte helfen
iMac mit Retina 5K angeschaut
Eine Lupe könnte helfen
  1. iFixit iMac mit Retina-Display ist schwer zu reparieren
  2. Apple iMac Retina bringt mehr als 14 Megapixel auf das Display
  3. Apple iMacs mit Retina-Displays geplant

Data Management: Wie Hauptspeicherdatenbanken arbeiten
Data Management
Wie Hauptspeicherdatenbanken arbeiten

Schenker XMG P505 im Test: Flaches Gaming-Notebook mit überraschender GTX 970M
Schenker XMG P505 im Test
Flaches Gaming-Notebook mit überraschender GTX 970M
  1. Geforce GTX 980M und 970M Maxwell verdoppelt Spielgeschwindigkeit von Notebooks
  2. Toughbook CF-LX3 Panasonics leichtes Notebook mit der Lizenz zum Runterfallen
  3. Entwicklung vorerst eingestellt Notebooks mit Touch-Displays sind nicht gefragt

    •  / 
    Zum Artikel