Abo
  • Services:
Anzeige
Ein freier Webindex für alle
Ein freier Webindex für alle (Bild: Common Crawl Foundation)

Common Crawl Foundation: Freier Webindex mit 5 Milliarden Seiten

Ein freier Webindex für alle
Ein freier Webindex für alle (Bild: Common Crawl Foundation)

Die von Gil Elbaz ins Leben gerufene Common Crawl Foundation hat einen Webindex mit fünf Milliarden Seiten veröffentlicht, den jeder frei nutzen kann. Der Index enthält Metadaten wie Pagerank und einen Link-Graph.

Die Common Crawl Foundation will den Zugang zu Webinformationen demokratisieren und dazu ein offenes Repository mit Crawl-Daten aus dem Web bereitstellen. Daten, die bislang nur großen Suchmaschinenbetreibern zur Verfügung standen, sollen so für alle zugänglich werden.

Anzeige

Derzeit umfasst der Index der Stiftung rund fünf Milliarden Webseiten samt der zugehörigen Metadaten, einschließlich Pagerank und der Verlinkungen untereinander.

Die Daten liegen in einem HDFS-Cluster vor, der per Map Reduce abgefragt wird, um kleine Archivdateien von 100 MByte zu erzeugen, die über Amazon S3 heruntergeladen werden können. Es ist aber auch eine direkte Abfrage der Daten via Map Reduce möglich.

Bislang arbeitete die Common Crawl Foundation eher im Stillen und sucht nun die Öffentlichkeit, damit die gesammelten Daten genutzt werden. Auch das von Ahad Rana entwickelte Crawl-System soll als Open Source auf Github veröffentlicht werden. Zudem will die Stiftung Bibliotheken zur Verfügung stellen, die den Umgang mit den Daten vereinfachen.


eye home zur Startseite
Zaphod 08. Nov 2011

mit sicherheit gnadenlos von allen SEO'ler überrannt heute ...

DaM 08. Nov 2011

Vorbereitung is allet!

dabbes 08. Nov 2011

Die Benutzen ja nicht Pagerank sondern geben lediglich die Zahl aus. Selbst berechnet...


Confluence: dev / 08. Nov 2011

Common Crawl Foundation



Anzeige

Stellenmarkt
  1. Robert Bosch GmbH, Leonberg
  2. operational services GmbH & Co. KG, Sindelfingen
  3. HUK-COBURG Versicherungsgruppe, Coburg
  4. Schwarz Dienstleistung KG, Neckarsulm


Anzeige
Spiele-Angebote
  1. (-15%) 16,99€
  2. (-85%) 4,49€
  3. 19,99€ (Vorbesteller-Preisgarantie)

Folgen Sie uns
       


  1. Private Division

    Rockstar-Games-Firma gründet Ableger für AAA-Indiegames

  2. Klage erfolgreich

    BND darf deutsche Metadaten nicht beliebig sammeln

  3. Neuer Bericht

    US-Behörden sollen kommerzielle Cloud-Dienste nutzen

  4. Übernahme

    Walt Disney kauft Teile von 21st Century Fox

  5. Deep Learning

    Googles Cloud-TPU-Cluster nutzen 4 TByte HBM-Speicher

  6. Leistungsschutzrecht

    EU-Staaten uneins bei Urheberrechtsreform

  7. E-Ticket Deutschland bei der BVG

    Bewegungspunkt am Straßenstrich

  8. Star Wars

    The-Last-Jedi-Update für Battlefront 2 veröffentlicht

  9. Airport mit 802.11n und neuere

    Apple sichert seine WLAN-Router gegen Krack-Angriff ab

  10. Bell UH-1

    Aurora Flight Sciences macht einen Hubschrauber zur Drohne



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
4K UHD HDR: Das ZDF hat das Internet nicht verstanden
4K UHD HDR
Das ZDF hat das Internet nicht verstanden
  1. Cisco und Lancom Wenn Spionagepanik auf Industriepolitik trifft
  2. Encrypted Media Extensions Web-DRM ist ein Standard für Nutzer

King's Field 1 (1994): Die Saat für Dark Souls
King's Field 1 (1994)
Die Saat für Dark Souls
  1. Blade Runner (1997) Die unsterbliche, künstliche Erinnerung
  2. SNES Classic Mini im Vergleichstest Putzige Retro-Konsole mit suboptimaler Emulation

Bundesregierung: Mit verdrehten Zahlen gegen die ePrivacy-Verordnung
Bundesregierung
Mit verdrehten Zahlen gegen die ePrivacy-Verordnung
  1. Druck der Filmwirtschaft EU-Parlament verteidigt Geoblocking bei Fernsehsendern
  2. Rechtsunsicherheit bei Cookies EU warnt vor Verzögerung von ePrivacy-Verordnung
  3. Datenschutz EU-Parlament stimmt ePrivacy-Verordnung zu

  1. Re: Hierfür braucht Disney mehr eigene Inhalte...

    Dungeon Master | 04:20

  2. Re: Erweiterungswünsche

    [Benutzernamen... | 03:52

  3. Re: > Wir freuen uns über Hinweise dazu, wie...

    2ge | 03:30

  4. Gegenbeispiel: China

    2ge | 02:50

  5. Re: Da stellt sich dann doch die Frage...

    plutoniumsulfat | 02:01


  1. 16:10

  2. 15:30

  3. 15:19

  4. 14:50

  5. 14:44

  6. 14:43

  7. 14:05

  8. 12:55


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel