Mehr Daten für den freien Webindex der Common Crawl Foundation
Mehr Daten für den freien Webindex der Common Crawl Foundation (Bild: Common Crawl Foundation)

Freier Webindex Blekko spendet 22 Milliarden Webseiten an Common Crawl

Die Suchmaschine Blekko stellt ihre Suchdaten zu rund 22 Milliarden Webseiten ab sofort der Common Crawl Foundation zur Verfügung. Die Stiftung stellt einen Webindex samt Metadaten wie Pagerank und Link-Graph zur Verfügung, den jeder frei nutzen kann.

Anzeige

Daten, die bislang nur großen Suchmaschinenbetreibern zur Verfügung standen, sollen so für alle zugänglich werden, das ist das Ziel der Common Crawl Foundation. Sie will den Zugang zu Webinformationen demokratisieren und dazu ein offenes Repository mit Crawl-Daten aus dem Web bereitstellen. Gestartet ist das von Gil Elbaz gestartete Projekt im November 2011 mit einem Index von rund 5 Milliarden Webseiten.

Dieser Datensatz soll nun besser werden: Die Suchmaschine Blekko stellt ständig aktualisierte Daten von rund 140 Millionen Websites mit insgesamt rund 22 Milliarden Webseiten zur Verfügung. Schon jetzt stellt Blekko anderen seine Suchergebnisse per API zur Verfügung.

Common Crawl soll Blekkos Daten vor allem nutzen, um seine eigenen Crawler zu verbessern, damit diese Webspam, Pornos und andere ausufernde SEO-Webseiten umgehen können. So soll die Stiftung ihre Ressourcen effizienter einsetzen können, um Webseiten zu erfassen, die von Menschen für Menschen erstellt werden.

Die Daten der Common Crawl Foundation stehen bei Amazon S3 zum Download bereit. Zudem wird ein Image für Amazon EC2 angeboten, mit dem die Daten direkt per Map-Reduce verarbeitet werden können, ohne dass das gesamte Archiv heruntergeladen werden muss. Zudem gibt es Archive mit Metadaten sowie ein Archiv mit den reinen Textdaten der Webseite.

Gedacht sind die Daten vor allem für Forscher. Diesen will die Common Crawl Foundation auf diesem Weg einen umfangreichen Auszug des Webs zur Verfügung stellen, mit dem sie arbeiten können, ohne eine eigene Crawler-Infrastruktur aufsetzen zu müssen.

Der aktuelle Datensatz wurde zwischen dem 15. Februar 2012 und dem 29. November 2012 erstellt und umfasst rund 81 TByte.


Kommentieren



Anzeige

  1. IT-Release Manager (m/w)
    Unitymedia GmbH, Köln
  2. Anwendungs- / Softwareberater/in Business Intelligence (BI)
    Robert Bosch GmbH, Stuttgart-Feuerbach
  3. SAP-PM Projektbetreuer (m/w)
    Stadtwerke Schwerin GmbH, Schwerin
  4. Consultant Finance Processes & Applications (m/w)
    Fresenius Netcare GmbH, Bad Homburg

 

Detailsuche


Blu-ray-Angebote
  1. NUR NOCH HEUTE: Noah [3D Blu-ray]
    12,97€
  2. Coriolanus [Blu-ray]
    3,99€
  3. NUR NOCH HEUTE: Universal Summer Sale - Blu-rays u. DVDs reduziert
    (3 Blu-rays für 18 EUR u. a. Oblivion, 12 Years a Slave, Sinister - Box-Sets u. a. Tremors 1-4 Blu...

 

Weitere Angebote


Folgen Sie uns
       


  1. Telefonie und Internet

    Störungen bei O2 und 1und1 in Berlin

  2. Telltale

    Details und Trailer zu Minecraft Story Mode veröffentlicht

  3. Geheimdienst

    NSA spähte Dutzende Telefone der Regierung Brasiliens aus

  4. Raumfahrt

    Russisches Versorgungsschiff erreicht ISS

  5. UNHRC

    Die UNO hat einen Sonderberichterstatter für Datenschutz

  6. Nordamerika

    Arin aktiviert Wartelistensystem für IPv4-Adressen

  7. Modellreihe CUH-1200

    Neue PS4 nutzt halb so viele Speicherchips

  8. Die Woche im Video

    Apple Music gestartet, Netzneutralität bedroht, NSA geleakt

  9. Internet.org

    Mark Zuckerberg will Daten per Laser auf die Erde übertragen

  10. TLC-Flash

    Samsung plant SSDs mit 2 und 4 TByte



Haben wir etwas übersehen?

E-Mail an news@golem.de



Intel Compute Stick im Test: Der mit dem Lüfter streamt
Intel Compute Stick im Test
Der mit dem Lüfter streamt
  1. Management Intel-Präsidentin tritt zurück und Mobile-Chef muss gehen
  2. FPGAs Intel wird Kauf von Altera heute ankündigen
  3. FPGAs Intel will FPGA-Experten Altera doch noch kaufen

Hanson Robotics: Technik, die dir zuzwinkert
Hanson Robotics
Technik, die dir zuzwinkert
  1. VW Tödlicher Arbeitsunfall mit einem Roboter
  2. Biomimetik Gepanzerter Roboter kriecht durch Ritzen wie eine Kakerlake
  3. Darpa Robotics Challenge Hubo ist der beste Roboter für den Katastrophenfall

Batman Arkham Knight im Test: Es ist kompliziert ...
Batman Arkham Knight im Test
Es ist kompliziert ...
  1. Arkham Knight Erster PC-Patch für Batman
  2. Technische Probleme Batman Arkham Knight nicht mehr auf Steam erhältlich

  1. Re: Überwachungsserver installiert?

    Prinzeumel | 19:23

  2. Re: Das werden wir wohl nie erfahren

    Keksmonster226 | 19:18

  3. Re: ...und das ist nicht schlimm. Im Gegenteil.

    eHug | 18:52

  4. Re: Frau Rousseff ...

    plutoniumsulfat | 18:49

  5. Wer einmal lügt

    Prinzeumel | 18:48


  1. 14:50

  2. 14:34

  3. 12:32

  4. 12:17

  5. 14:04

  6. 11:55

  7. 10:37

  8. 09:33


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel