Mehr Daten für den freien Webindex der Common Crawl Foundation
Mehr Daten für den freien Webindex der Common Crawl Foundation (Bild: Common Crawl Foundation)

Freier Webindex Blekko spendet 22 Milliarden Webseiten an Common Crawl

Die Suchmaschine Blekko stellt ihre Suchdaten zu rund 22 Milliarden Webseiten ab sofort der Common Crawl Foundation zur Verfügung. Die Stiftung stellt einen Webindex samt Metadaten wie Pagerank und Link-Graph zur Verfügung, den jeder frei nutzen kann.

Anzeige

Daten, die bislang nur großen Suchmaschinenbetreibern zur Verfügung standen, sollen so für alle zugänglich werden, das ist das Ziel der Common Crawl Foundation. Sie will den Zugang zu Webinformationen demokratisieren und dazu ein offenes Repository mit Crawl-Daten aus dem Web bereitstellen. Gestartet ist das von Gil Elbaz gestartete Projekt im November 2011 mit einem Index von rund 5 Milliarden Webseiten.

Dieser Datensatz soll nun besser werden: Die Suchmaschine Blekko stellt ständig aktualisierte Daten von rund 140 Millionen Websites mit insgesamt rund 22 Milliarden Webseiten zur Verfügung. Schon jetzt stellt Blekko anderen seine Suchergebnisse per API zur Verfügung.

Common Crawl soll Blekkos Daten vor allem nutzen, um seine eigenen Crawler zu verbessern, damit diese Webspam, Pornos und andere ausufernde SEO-Webseiten umgehen können. So soll die Stiftung ihre Ressourcen effizienter einsetzen können, um Webseiten zu erfassen, die von Menschen für Menschen erstellt werden.

Die Daten der Common Crawl Foundation stehen bei Amazon S3 zum Download bereit. Zudem wird ein Image für Amazon EC2 angeboten, mit dem die Daten direkt per Map-Reduce verarbeitet werden können, ohne dass das gesamte Archiv heruntergeladen werden muss. Zudem gibt es Archive mit Metadaten sowie ein Archiv mit den reinen Textdaten der Webseite.

Gedacht sind die Daten vor allem für Forscher. Diesen will die Common Crawl Foundation auf diesem Weg einen umfangreichen Auszug des Webs zur Verfügung stellen, mit dem sie arbeiten können, ohne eine eigene Crawler-Infrastruktur aufsetzen zu müssen.

Der aktuelle Datensatz wurde zwischen dem 15. Februar 2012 und dem 29. November 2012 erstellt und umfasst rund 81 TByte.


Kommentieren



Anzeige

  1. SAP Entwickler (m/w)
    realtime AG, Langenfeld, Dresden, Hamburg, Konstanz
  2. Hardwareentwickler (m/w) Schaltplanerstellung
    NumberFour AG, Hamburg
  3. Application Server Spezialist (m/w)
    ORDIX AG, deutschlandweit
  4. Software-Entwickler (m/w) für Linux-Umgebung
    RIEKE COMPUTERSYSTEME GmbH, Martinsried

 

Detailsuche


Spiele-Angebote
  1. Grand Theft Auto V [PC Download]
    53,99€ (Vorbesteller-Preisgarantie) USK 18 - Release 14.04.
  2. GOG jetzt auch in Deutsch + Schnäppchen
    (u. a. Deponia 0,49€, Tropico 3 Gold 5,39€)
  3. NUR NOCH HEUTE: Games-Downloads: Angebote der Woche

 

Weitere Angebote


Folgen Sie uns
       


  1. MotionX

    Schweizer Uhrenhersteller gegen Apple

  2. Grafikfehler

    Macbook-Reparaturprogramm jetzt auch in Deutschland

  3. Uber

    Taxi-Dienst wächst in Deutschland nicht weiter

  4. Überwachung

    Apple-Chef Tim Cook fordert mehr Schutz der Privatsphäre

  5. Mountain View

    Google baut neuen Unternehmenssitz

  6. Leonard Nimoys Mr. Spock

    Der außerirdische Nerd

  7. Die Woche im Video

    Abenteurer, Adware und ein fixer Anschluss

  8. Nachruf

    Dif-tor heh smusma, Mr. Spock!

  9. Click

    Beliebige Uhrenarmbänder an der Apple Watch nutzen

  10. VLC-Player 2.2.0

    Rotation, Addons-Verwaltung und digitale Kinofilme



Haben wir etwas übersehen?

E-Mail an news@golem.de



Freenet: Das anonyme Netzwerk mit der Schmuddelecke
Freenet
Das anonyme Netzwerk mit der Schmuddelecke
  1. Geheimdienstchef Clapper Cyber-Armageddeon ist nicht zu befürchten
  2. U-Bahn Neue Überwachungskameras können schwenken und zoomen
  3. Matthew Garrett Intel erzwingt Entscheidung zwischen Sicherheit und Freiheit

Technical Preview im Test: So fühlt sich Windows 10 für Smartphones an
Technical Preview im Test
So fühlt sich Windows 10 für Smartphones an
  1. Internet Explorer Windows 10 soll asm.js voll unterstützen
  2. Microsoft Windows 10 erhält Anmeldestandard Fido
  3. Mobiles Betriebssystem Technical Preview von Windows 10 für Smartphones ist da

Lifetab P8912 im Test: Viel Rahmen für wenig Geld
Lifetab P8912 im Test
Viel Rahmen für wenig Geld
  1. Medion Lifetab P8912 9-Zoll-Tablet mit Infrarotsender kostet 180 Euro
  2. Medion Life X5001 5-Zoll-Smartphone mit Full-HD-Display für 220 Euro
  3. Lifetab S8311 8-Zoll-Tablet mit UMTS-Modem im Metallgehäuse für 200 Euro

  1. Re: Ganz toll

    Sander Cohen | 04:47

  2. Re: punkt für apple!

    Tzven | 04:30

  3. Re: UI?

    ve2000 | 04:23

  4. Re: Nix geht über eine klassiche Automatikuhr...

    Tzven | 04:10

  5. Ich habe es mal versucht

    medium_quelle | 01:55


  1. 15:24

  2. 14:40

  3. 14:33

  4. 13:41

  5. 11:03

  6. 10:47

  7. 09:01

  8. 19:46


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel