Mehr Daten für den freien Webindex der Common Crawl Foundation
Mehr Daten für den freien Webindex der Common Crawl Foundation (Bild: Common Crawl Foundation)

Freier Webindex Blekko spendet 22 Milliarden Webseiten an Common Crawl

Die Suchmaschine Blekko stellt ihre Suchdaten zu rund 22 Milliarden Webseiten ab sofort der Common Crawl Foundation zur Verfügung. Die Stiftung stellt einen Webindex samt Metadaten wie Pagerank und Link-Graph zur Verfügung, den jeder frei nutzen kann.

Anzeige

Daten, die bislang nur großen Suchmaschinenbetreibern zur Verfügung standen, sollen so für alle zugänglich werden, das ist das Ziel der Common Crawl Foundation. Sie will den Zugang zu Webinformationen demokratisieren und dazu ein offenes Repository mit Crawl-Daten aus dem Web bereitstellen. Gestartet ist das von Gil Elbaz gestartete Projekt im November 2011 mit einem Index von rund 5 Milliarden Webseiten.

Dieser Datensatz soll nun besser werden: Die Suchmaschine Blekko stellt ständig aktualisierte Daten von rund 140 Millionen Websites mit insgesamt rund 22 Milliarden Webseiten zur Verfügung. Schon jetzt stellt Blekko anderen seine Suchergebnisse per API zur Verfügung.

Common Crawl soll Blekkos Daten vor allem nutzen, um seine eigenen Crawler zu verbessern, damit diese Webspam, Pornos und andere ausufernde SEO-Webseiten umgehen können. So soll die Stiftung ihre Ressourcen effizienter einsetzen können, um Webseiten zu erfassen, die von Menschen für Menschen erstellt werden.

Die Daten der Common Crawl Foundation stehen bei Amazon S3 zum Download bereit. Zudem wird ein Image für Amazon EC2 angeboten, mit dem die Daten direkt per Map-Reduce verarbeitet werden können, ohne dass das gesamte Archiv heruntergeladen werden muss. Zudem gibt es Archive mit Metadaten sowie ein Archiv mit den reinen Textdaten der Webseite.

Gedacht sind die Daten vor allem für Forscher. Diesen will die Common Crawl Foundation auf diesem Weg einen umfangreichen Auszug des Webs zur Verfügung stellen, mit dem sie arbeiten können, ohne eine eigene Crawler-Infrastruktur aufsetzen zu müssen.

Der aktuelle Datensatz wurde zwischen dem 15. Februar 2012 und dem 29. November 2012 erstellt und umfasst rund 81 TByte.


Kommentieren



Anzeige

  1. Software-Entwickler (m/w) / Software-Ingenieur (m/w) für Mess- und Analysesysteme
    Müller-BBM VibroAkustik Systeme GmbH, Planegg bei München
  2. Anwendungs- und Softwareberater (m/w) für SAP PLM
    MAHLE International GmbH, Stuttgart
  3. PHP-Entwickler (m/w)
    arboro GmbH, Schwaigern bei Heilbronn
  4. Online Prozessmanager (m/w)
    Home Shopping Europe GmbH, Ismaning Raum München

 

Detailsuche


Blu-ray-Angebote
  1. Blu-rays zum Sonderpreis
    (u. a. Armageddon 7,99€, Jack Reacher 8,97€, Daredevil 9,00€, Assassins 7,99€)
  2. Serien bis zu 40% reduziert
    (u. a. Downton Abbey 4. Staffel 19,97€, Eureka Season 5 nur 19,97€)
  3. Good Kill [Blu-ray]
    9,99€

 

Weitere Angebote


Folgen Sie uns
       


  1. Tor-Netzwerk

    Öffentliche Bibliotheken sollen Exit-Relays werden

  2. Bitcoin

    Mt.-Gox-Gründer Mark Karpelès verhaftet

  3. Windows 10

    Microsoft gibt Enterprise-Version frei

  4. Schwachstellen

    Fernzugriff öffnet Autotüren

  5. Die Woche im Video

    Windows 10 bis zum Abwinken

  6. Oneplus 2 im Hands On

    Das Flagship-Killerchen

  7. #Landesverrat

    Range stellt Ermittlungen gegen Netzpolitik.org vorerst ein

  8. Biomimetik

    Roboter kann über das Wasser laufen

  9. Worms

    Kampfwürmer für zu Hause und die Hosentasche

  10. SQL-Dump aufgetaucht

    Generalbundesanwalt.de gehackt



Haben wir etwas übersehen?

E-Mail an news@golem.de



Microsoft: Die Neuerungen von Windows 10
Microsoft
Die Neuerungen von Windows 10
  1. Microsoft Über 14 Millionen sind bereits auf Windows 10 gewechselt
  2. Neuer Windows Store Windows 10 erlaubt deutlich weniger Parallelinstallationen
  3. Microsoft DVD-Player-App für Windows 10 nicht für jeden gratis

SIOD: Wenn die Anzeige auch in der Zeitung blinkt
SIOD
Wenn die Anzeige auch in der Zeitung blinkt
  1. Electric Skin Nanoforscher entwickeln hautähnliches Farbdisplay
  2. Panasonic FZ300 Superzoom-Kamera arbeitet mit f/2,8-Objektiv und 4K-Auflösung
  3. Panasonic Lumix GX8 Systemkamera ermöglicht Scharfstellung nach der Aufnahme

Windows 10 im Tablet-Test: Ein sinnvolles Windows für Tablets
Windows 10 im Tablet-Test
Ein sinnvolles Windows für Tablets
  1. Windows 10 Startmenü macht nach 512 Einträgen schlapp
  2. Windows 10 Erzwungene Updates können Treiberfehler verursachen
  3. Microsoft Pro-Lizenz von Windows 10 kostet 280 Euro

  1. Re: 1 GB vs. 1,5 GB RAM?

    Jasmin26 | 22:12

  2. Re: Moto-G-Konkurrent?

    Jasmin26 | 22:07

  3. Re: Wie kann man sich selbst 1 Millionen Dollar...

    Niantic | 22:03

  4. Re: Braucht niemand

    edminthelast | 21:56

  5. Re: Lohnt sich das Moto G 2Gen noch?

    Jasmin26 | 21:50


  1. 12:40

  2. 12:00

  3. 11:22

  4. 10:34

  5. 09:37

  6. 18:46

  7. 17:49

  8. 17:26


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel