Mehr Daten für den freien Webindex der Common Crawl Foundation
Mehr Daten für den freien Webindex der Common Crawl Foundation (Bild: Common Crawl Foundation)

Freier Webindex Blekko spendet 22 Milliarden Webseiten an Common Crawl

Die Suchmaschine Blekko stellt ihre Suchdaten zu rund 22 Milliarden Webseiten ab sofort der Common Crawl Foundation zur Verfügung. Die Stiftung stellt einen Webindex samt Metadaten wie Pagerank und Link-Graph zur Verfügung, den jeder frei nutzen kann.

Anzeige

Daten, die bislang nur großen Suchmaschinenbetreibern zur Verfügung standen, sollen so für alle zugänglich werden, das ist das Ziel der Common Crawl Foundation. Sie will den Zugang zu Webinformationen demokratisieren und dazu ein offenes Repository mit Crawl-Daten aus dem Web bereitstellen. Gestartet ist das von Gil Elbaz gestartete Projekt im November 2011 mit einem Index von rund 5 Milliarden Webseiten.

Dieser Datensatz soll nun besser werden: Die Suchmaschine Blekko stellt ständig aktualisierte Daten von rund 140 Millionen Websites mit insgesamt rund 22 Milliarden Webseiten zur Verfügung. Schon jetzt stellt Blekko anderen seine Suchergebnisse per API zur Verfügung.

Common Crawl soll Blekkos Daten vor allem nutzen, um seine eigenen Crawler zu verbessern, damit diese Webspam, Pornos und andere ausufernde SEO-Webseiten umgehen können. So soll die Stiftung ihre Ressourcen effizienter einsetzen können, um Webseiten zu erfassen, die von Menschen für Menschen erstellt werden.

Die Daten der Common Crawl Foundation stehen bei Amazon S3 zum Download bereit. Zudem wird ein Image für Amazon EC2 angeboten, mit dem die Daten direkt per Map-Reduce verarbeitet werden können, ohne dass das gesamte Archiv heruntergeladen werden muss. Zudem gibt es Archive mit Metadaten sowie ein Archiv mit den reinen Textdaten der Webseite.

Gedacht sind die Daten vor allem für Forscher. Diesen will die Common Crawl Foundation auf diesem Weg einen umfangreichen Auszug des Webs zur Verfügung stellen, mit dem sie arbeiten können, ohne eine eigene Crawler-Infrastruktur aufsetzen zu müssen.

Der aktuelle Datensatz wurde zwischen dem 15. Februar 2012 und dem 29. November 2012 erstellt und umfasst rund 81 TByte.


Kommentieren



Anzeige

  1. Softwaretester - Engineering Software (m/w)
    Festo AG & Co. KG, Esslingen bei Stuttgart
  2. Anwendungs- und Softwareberater/in
    Robert Bosch GmbH, Leonberg
  3. Projektleiter (m/w) für IT-Transformationsprogramm in der Betriebsorganisation
    Allianz Deutschland AG, Unterföhring
  4. Systemspezialist Bankensysteme (m/w)
    Wirecard Bank AG, Aschheim bei München

 

Detailsuche


Top-Angebote
  1. VORBESTELLBAR: Until Dawn Special Edition PS4
    79,95€
  2. TIPP: Blu-ray-Tipps aus Filmaktion
    (u. a. Transformers 4 8,97€, Interstellar 12,99€, Fast & Furious 1-6 26,97€, Zurück in die...
  3. TIPP: Alien - Jubiläums Collection - 35 Jahre [Blu-ray]
    20,99€

 

Weitere Angebote


Folgen Sie uns
       


  1. EA Sports

    Fifa 16 bietet Frauenfußball

  2. Squad

    Geistiger Nachfolger von Project Reality sucht Soldaten

  3. Firefox

    Mozilla beginnt, Addons zu signieren

  4. Samsung

    Patent zeigt Laptop-Dock für Dual-Boot-Smartphones

  5. A10-7870K

    AMDs Kaveri-Refresh bietet mehr Takt und Kühlung

  6. Intelligente Scanner-App

    Office Lens für Android gibt es im Play Store

  7. Freifunker

    Offene Funknetze von neuer Vorratsspeicherung betroffen

  8. Studie

    Docker-Images oft mit Sicherheitslücken

  9. Smart Cast

    Lenovos Smartphone mit drehbarem Laserprojektor

  10. Precision M3800 und Book XC1505 im Test

    Schwergewichtige Linux-Notebooks für zu Hause



Haben wir etwas übersehen?

E-Mail an news@golem.de



Soziales Netzwerk Sociax: Das Facebook mit mehr Privatsphäre
Soziales Netzwerk Sociax
Das Facebook mit mehr Privatsphäre
  1. Nepal Facebook, Google und Openstreetmap helfen Erdbebenopfern
  2. Karrierenetzwerk LinkedIn will Zukauf für 1,5 Milliarden US-Dollar
  3. Soziale Netzwerke Vernetzt und zugenäht!

Berlin E-Prix: Motoren, die nach Star Wars klingen
Berlin E-Prix
Motoren, die nach Star Wars klingen
  1. Funktechnik Daimler und Qualcomm vernetzen das Auto

Apps für Googles Cardboard: Her mit der Pappe!
Apps für Googles Cardboard
Her mit der Pappe!
  1. Game of Thrones Auf der Mauer weht ein eisiger Wind
  2. VR im Journalismus So nah, dass es fast wehtut
  3. Deep angespielt "Atme tief ein und tauche durch die virtuelle Welt"

  1. Re: m3800 wiegt 2kg...

    Sharkuu | 16:13

  2. Ziemlich viele Rechte was das Teil will

    v'Karas | 16:12

  3. Re: "Viel viel besser als das Apple Watch"

    VerkaufAlles | 16:11

  4. Re: Online Petition

    |=H | 16:07

  5. Re: Auf betrügerische Art und Weise

    Nocta | 16:07


  1. 15:17

  2. 14:53

  3. 14:32

  4. 14:05

  5. 14:00

  6. 13:50

  7. 13:02

  8. 12:40


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel