Abo
  • Services:

Freier Webindex: Blekko spendet 22 Milliarden Webseiten an Common Crawl

Die Suchmaschine Blekko stellt ihre Suchdaten zu rund 22 Milliarden Webseiten ab sofort der Common Crawl Foundation zur Verfügung. Die Stiftung stellt einen Webindex samt Metadaten wie Pagerank und Link-Graph zur Verfügung, den jeder frei nutzen kann.

Artikel veröffentlicht am ,
Mehr Daten für den freien Webindex der Common Crawl Foundation
Mehr Daten für den freien Webindex der Common Crawl Foundation (Bild: Common Crawl Foundation)

Daten, die bislang nur großen Suchmaschinenbetreibern zur Verfügung standen, sollen so für alle zugänglich werden, das ist das Ziel der Common Crawl Foundation. Sie will den Zugang zu Webinformationen demokratisieren und dazu ein offenes Repository mit Crawl-Daten aus dem Web bereitstellen. Gestartet ist das von Gil Elbaz gestartete Projekt im November 2011 mit einem Index von rund 5 Milliarden Webseiten.

Stellenmarkt
  1. BWI GmbH, München, Meckenheim, Hilden
  2. SCISYS Deutschland GmbH, Bochum

Dieser Datensatz soll nun besser werden: Die Suchmaschine Blekko stellt ständig aktualisierte Daten von rund 140 Millionen Websites mit insgesamt rund 22 Milliarden Webseiten zur Verfügung. Schon jetzt stellt Blekko anderen seine Suchergebnisse per API zur Verfügung.

Common Crawl soll Blekkos Daten vor allem nutzen, um seine eigenen Crawler zu verbessern, damit diese Webspam, Pornos und andere ausufernde SEO-Webseiten umgehen können. So soll die Stiftung ihre Ressourcen effizienter einsetzen können, um Webseiten zu erfassen, die von Menschen für Menschen erstellt werden.

Die Daten der Common Crawl Foundation stehen bei Amazon S3 zum Download bereit. Zudem wird ein Image für Amazon EC2 angeboten, mit dem die Daten direkt per Map-Reduce verarbeitet werden können, ohne dass das gesamte Archiv heruntergeladen werden muss. Zudem gibt es Archive mit Metadaten sowie ein Archiv mit den reinen Textdaten der Webseite.

Gedacht sind die Daten vor allem für Forscher. Diesen will die Common Crawl Foundation auf diesem Weg einen umfangreichen Auszug des Webs zur Verfügung stellen, mit dem sie arbeiten können, ohne eine eigene Crawler-Infrastruktur aufsetzen zu müssen.

Der aktuelle Datensatz wurde zwischen dem 15. Februar 2012 und dem 29. November 2012 erstellt und umfasst rund 81 TByte.



Anzeige
Blu-ray-Angebote
  1. (u. a. Game Night 5,98€, Maze Runner 6,98€, Coco 5,98€)
  2. (u. a. 3 Blu-rays für 15€, 2 Neuheiten für 15€)

Folgen Sie uns
       


Monster Hunter World vs Generations Ultimate Gameplay

Gameplay von den Spielen Monster Hunter World und Monster Hunter Generations Ultimate, das im Splittscreen verglichen wird.

Monster Hunter World vs Generations Ultimate Gameplay Video aufrufen
Pixel 3 XL im Test: Algorithmen können nicht alles
Pixel 3 XL im Test
Algorithmen können nicht alles

Google setzt beim Pixel 3 XL alles auf die Kamera, die dank neuer Algorithmen nicht nur automatisch blinzlerfreie Bilder ermitteln, sondern auch einen besonders scharfen Digitalzoom haben soll. Im Test haben wir allerdings festgestellt, dass auch die beste Software keine Dual- oder Dreifachkamera ersetzen kann.
Ein Test von Tobias Költzsch

  1. Dragonfly Google schweigt zu China-Plänen
  2. Nach Milliardenstrafe Google will Android-Verträge offenbar anpassen
  3. Google Android Studio 3.2 unterstützt Android 9 und App Bundles

Neuer Echo Dot im Test: Amazon kann doch gute Mini-Lautsprecher bauen
Neuer Echo Dot im Test
Amazon kann doch gute Mini-Lautsprecher bauen

Echo Dot steht bisher für muffigen, schlechten Klang. Mit dem neuen Modell zeigt Amazon, dass es doch gute smarte Mini-Lautsprecher mit dem Alexa-Sprachassistenten bauen kann, die sogar gegen die Konkurrenz von Google ankommen.
Ein Test von Ingo Pakalski


    Apple Watch im Test: Auch ohne EKG die beste Smartwatch
    Apple Watch im Test
    Auch ohne EKG die beste Smartwatch

    Apples vierte Watch verändert das Display-Design leicht - zum Wohle des Nutzers. Die Uhr bietet immer noch mit die beste Smartwatch-Erfahrung, auch wenn eine der neuen Funktionen in Deutschland noch nicht funktioniert.
    Ein Test von Tobias Költzsch

    1. Skydio R1 Apple Watch zur Drohnensteuerung verwendet
    2. Smartwatch Apple Watch Series 4 mit EKG und Sturzerkennung
    3. Smartwatch Apple Watch Series 4 nur mit sechs Modellen

      •  /