Mehr Daten für den freien Webindex der Common Crawl Foundation
Mehr Daten für den freien Webindex der Common Crawl Foundation (Bild: Common Crawl Foundation)

Freier Webindex Blekko spendet 22 Milliarden Webseiten an Common Crawl

Die Suchmaschine Blekko stellt ihre Suchdaten zu rund 22 Milliarden Webseiten ab sofort der Common Crawl Foundation zur Verfügung. Die Stiftung stellt einen Webindex samt Metadaten wie Pagerank und Link-Graph zur Verfügung, den jeder frei nutzen kann.

Anzeige

Daten, die bislang nur großen Suchmaschinenbetreibern zur Verfügung standen, sollen so für alle zugänglich werden, das ist das Ziel der Common Crawl Foundation. Sie will den Zugang zu Webinformationen demokratisieren und dazu ein offenes Repository mit Crawl-Daten aus dem Web bereitstellen. Gestartet ist das von Gil Elbaz gestartete Projekt im November 2011 mit einem Index von rund 5 Milliarden Webseiten.

Dieser Datensatz soll nun besser werden: Die Suchmaschine Blekko stellt ständig aktualisierte Daten von rund 140 Millionen Websites mit insgesamt rund 22 Milliarden Webseiten zur Verfügung. Schon jetzt stellt Blekko anderen seine Suchergebnisse per API zur Verfügung.

Common Crawl soll Blekkos Daten vor allem nutzen, um seine eigenen Crawler zu verbessern, damit diese Webspam, Pornos und andere ausufernde SEO-Webseiten umgehen können. So soll die Stiftung ihre Ressourcen effizienter einsetzen können, um Webseiten zu erfassen, die von Menschen für Menschen erstellt werden.

Die Daten der Common Crawl Foundation stehen bei Amazon S3 zum Download bereit. Zudem wird ein Image für Amazon EC2 angeboten, mit dem die Daten direkt per Map-Reduce verarbeitet werden können, ohne dass das gesamte Archiv heruntergeladen werden muss. Zudem gibt es Archive mit Metadaten sowie ein Archiv mit den reinen Textdaten der Webseite.

Gedacht sind die Daten vor allem für Forscher. Diesen will die Common Crawl Foundation auf diesem Weg einen umfangreichen Auszug des Webs zur Verfügung stellen, mit dem sie arbeiten können, ohne eine eigene Crawler-Infrastruktur aufsetzen zu müssen.

Der aktuelle Datensatz wurde zwischen dem 15. Februar 2012 und dem 29. November 2012 erstellt und umfasst rund 81 TByte.


Kommentieren



Anzeige

  1. Software-Entwickler/-in Kombiinstrumente
    Robert Bosch GmbH, Leonberg
  2. SAP WM/MM Inhouse Berater (m/w)
    SCHOTT AG, Mainz
  3. SAP-Koordinator (m/w) SAP SD / SAP ECC 6.0
    DEUTZ AG, Köln-Porz
  4. Verifikationsingenieur (m/w) System on Chip Design
    DR. JOHANNES HEIDENHAIN GmbH, Traunreut

 

Detailsuche


Top-Angebote
  1. NUR BIS MONTAG 09:00 UHR: Mario Party 10 mit Mario amiibo Figur - Nintendo Wii U
    33,00€ inkl. Versand
  2. NUR BIS MONTAG 09:00 UHR: Sabotage (Steelbook Edition, Exklusiv Saturn Limited Uncut Edition mit Lentikularkarte) FSK 18
    12,99€ inkl. Versand
  3. NUR NOCH HEUTE: Games-Downloads: Angebote der Woche
    (u. a. South Park: Der Stab der Wahrheit 12,97€, The Elder Scrolls III u. IV GOTY je 5,97€)

 

Weitere Angebote


Folgen Sie uns
       


  1. Cyberkrieg

    Pentagon will Angreifer mit harten Gegenschlägen abschrecken

  2. Weißes Haus

    Hacker konnten offenbar Obamas E-Mails lesen

  3. Unzulässige NSA-Selektoren

    Kanzleramt soll Warnungen des BND ignoriert haben

  4. Android-Tablet

    Google nimmt Nexus 7 aus dem Onlinestore

  5. Aerofoils

    Formel-1-Technik macht Supermarkt-Kühlregale effizienter

  6. Force Touch

    Apples Trackpad könnte künftig verschiedene Oberflächen simulieren

  7. Bodyprint

    Yahoo-Software verwandelt Touchscreen in Ohr-Scanner

  8. BKA

    Ab Herbst 2015 soll der Bundestrojaner einsetzbar sein

  9. Die Woche im Video

    Computerspiele, Whatsapp und Fire TV Stick

  10. Amtsgericht Hamburg

    Online-Partnervermittlungen dürfen kein Geld nehmen



Haben wir etwas übersehen?

E-Mail an news@golem.de



Flex Shape Gripper: Zuschnappen wie ein Chamäleon
Flex Shape Gripper
Zuschnappen wie ein Chamäleon
  1. Windkraftwerke Kletterroboter überprüft Windräder
  2. Care-O-bot Der Gentleman-Roboter gibt sich die Ehre
  3. Roboter Festos Falter fliegen fleißig

Android 5.1 im Test: Viel nützlicher Kleinkram
Android 5.1 im Test
Viel nützlicher Kleinkram
  1. Google EU-Wettbewerbsverfahren auch zu Android
  2. Lollipop Trage-Erkennung setzt Passwortsperre aus
  3. Google Android 5.1 bringt mehr Bedienungskomfort und Sicherheit

Everybody's Gone to the Rapture: Apokalypse in der Nachbarschaft angespielt
Everybody's Gone to the Rapture
Apokalypse in der Nachbarschaft angespielt
  1. Indiegame Sony bringt Journey in Full-HD auf die Playstation 4
  2. Alienation angespielt Zerstörungsorgie von den Resogun-Machern
  3. Axiom Verge im Test 16 Bit für Genießer

  1. Re: Und die einfache Lösung wäre...

    moppler | 14:51

  2. Re: Sehr gutes Konzept, hoffentlich schließen...

    JOnathanJOnes | 14:49

  3. Re: Suche Step-by-Step Anleitung für Kodi...

    ip (Golem.de) | 14:48

  4. Re: Echt jetzt "Chromecast kann einpacken"?

    Sinbad | 14:46

  5. US-Botnet

    maverick1977 | 14:44


  1. 14:25

  2. 13:02

  3. 11:44

  4. 09:56

  5. 15:17

  6. 10:05

  7. 09:50

  8. 09:34


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel