Mehr Daten für den freien Webindex der Common Crawl Foundation
Mehr Daten für den freien Webindex der Common Crawl Foundation (Bild: Common Crawl Foundation)

Freier Webindex Blekko spendet 22 Milliarden Webseiten an Common Crawl

Die Suchmaschine Blekko stellt ihre Suchdaten zu rund 22 Milliarden Webseiten ab sofort der Common Crawl Foundation zur Verfügung. Die Stiftung stellt einen Webindex samt Metadaten wie Pagerank und Link-Graph zur Verfügung, den jeder frei nutzen kann.

Anzeige

Daten, die bislang nur großen Suchmaschinenbetreibern zur Verfügung standen, sollen so für alle zugänglich werden, das ist das Ziel der Common Crawl Foundation. Sie will den Zugang zu Webinformationen demokratisieren und dazu ein offenes Repository mit Crawl-Daten aus dem Web bereitstellen. Gestartet ist das von Gil Elbaz gestartete Projekt im November 2011 mit einem Index von rund 5 Milliarden Webseiten.

Dieser Datensatz soll nun besser werden: Die Suchmaschine Blekko stellt ständig aktualisierte Daten von rund 140 Millionen Websites mit insgesamt rund 22 Milliarden Webseiten zur Verfügung. Schon jetzt stellt Blekko anderen seine Suchergebnisse per API zur Verfügung.

Common Crawl soll Blekkos Daten vor allem nutzen, um seine eigenen Crawler zu verbessern, damit diese Webspam, Pornos und andere ausufernde SEO-Webseiten umgehen können. So soll die Stiftung ihre Ressourcen effizienter einsetzen können, um Webseiten zu erfassen, die von Menschen für Menschen erstellt werden.

Die Daten der Common Crawl Foundation stehen bei Amazon S3 zum Download bereit. Zudem wird ein Image für Amazon EC2 angeboten, mit dem die Daten direkt per Map-Reduce verarbeitet werden können, ohne dass das gesamte Archiv heruntergeladen werden muss. Zudem gibt es Archive mit Metadaten sowie ein Archiv mit den reinen Textdaten der Webseite.

Gedacht sind die Daten vor allem für Forscher. Diesen will die Common Crawl Foundation auf diesem Weg einen umfangreichen Auszug des Webs zur Verfügung stellen, mit dem sie arbeiten können, ohne eine eigene Crawler-Infrastruktur aufsetzen zu müssen.

Der aktuelle Datensatz wurde zwischen dem 15. Februar 2012 und dem 29. November 2012 erstellt und umfasst rund 81 TByte.


Kommentieren



Anzeige

  1. Development Tools Software Ingenieur (BSL) (m/w)
    TEXAS INSTRUMENTS Deutschland GmbH, Freising bei München
  2. Systemarchitekt (Microsoft) (m/w)
    znt Zentren für neue Technologien GmbH, Burghausen
  3. Web Analyst (m/w) Europe
    Rakuten Deutschland GmbH, Berlin
  4. Software-Entwickler Applikation (m/w)
    Ultratronik GmbH, Gilching

 

Detailsuche


Top-Angebote
  1. NEU: 3 TV-Serien für 25 EUR
    (u. a. Der Lehrer, Supernatural, The Big Bang Theory, The Mentalist, Shameless)
  2. NEU: Transcend 512-GB-SSD
    159,90€
  3. NEU: PlayStation 4 Konsole inkl. FIFA 15
    399,00€

 

Weitere Angebote


Folgen Sie uns
       


  1. Gewinnrückgang

    "Microsoft ist weiterhin im Wandel"

  2. Music Key

    Alles oder nichts für Indie-Musiker bei Youtube

  3. Privatsphäre im Netz

    Open-Source-Projekte sollen 1984 verhindern

  4. The Witcher 3 angespielt

    Geralt und die "Mission Bratpfanne"

  5. Onlinehandel

    Welche Versand-Flatrates sich nicht lohnen

  6. Jessie

    Erster Release Candidate für neuen Debian-Installer

  7. Biicode

    Abhängigkeitsverwaltung für C/C++ soll Open Source werden

  8. Mobilfunk

    O2 schaltet LTE-Nutzung für alle Blue-Tarife frei

  9. Broadwell-Mini-PC

    Gigabytes Brix ist noch kompakter als Intels NUC

  10. Cyanogen Inc.

    "Wir versuchen, Google Android wegzunehmen"



Haben wir etwas übersehen?

E-Mail an news@golem.de



Erpressung und Geldwäsche: Polizei kommt bei Cybercrime nicht hinterher
Erpressung und Geldwäsche
Polizei kommt bei Cybercrime nicht hinterher
  1. Malware BSI will Zwangstrennung infizierter Rechner vom Internet
  2. Cybercrime Trotz 300 Cyber-Ermittlern bleibt Aufklärungsquote gleich
  3. Cybercrime HP eröffnet Cyber-Abwehrzentrum in Böblingen

Heimkino-Raumklang von oben: Dolby Atmos klingt gut, Auro 3D klingt besser
Heimkino-Raumklang von oben
Dolby Atmos klingt gut, Auro 3D klingt besser
  1. DTS:X Probe gehört Dolby-Atmos-Konkurrent arbeitet mit Deckenlautsprechern
  2. Surround-Sound Holpriger Start für Blu-ray-Discs mit Dolby Atmos
  3. Interstellar in 70 mm Berliner Zoo Palast schiebt die Digitalprojektoren beiseite

Neues Betriebssystem: Microsoft nennt viele neue Details zu Windows 10
Neues Betriebssystem
Microsoft nennt viele neue Details zu Windows 10
  1. Microsoft Nicht alle Windows-Phone-Smartphones erhalten Windows 10
  2. Surface Hub Microsoft zeigt Konferenzsystem mit Digitizer und Windows 10
  3. Hololens mit Windows Holodeck-Zeitalter mit einer autarken Datenbrille

    •  / 
    Zum Artikel