Abo
  • Services:

Common Crawl Foundation: Freier Webindex mit 5 Milliarden Seiten

Die von Gil Elbaz ins Leben gerufene Common Crawl Foundation hat einen Webindex mit fünf Milliarden Seiten veröffentlicht, den jeder frei nutzen kann. Der Index enthält Metadaten wie Pagerank und einen Link-Graph.

Artikel veröffentlicht am ,
Ein freier Webindex für alle
Ein freier Webindex für alle (Bild: Common Crawl Foundation)

Die Common Crawl Foundation will den Zugang zu Webinformationen demokratisieren und dazu ein offenes Repository mit Crawl-Daten aus dem Web bereitstellen. Daten, die bislang nur großen Suchmaschinenbetreibern zur Verfügung standen, sollen so für alle zugänglich werden.

Stellenmarkt
  1. netvico GmbH, Stuttgart
  2. 10X Innovation GmbH & Co. KG, Berlin

Derzeit umfasst der Index der Stiftung rund fünf Milliarden Webseiten samt der zugehörigen Metadaten, einschließlich Pagerank und der Verlinkungen untereinander.

Die Daten liegen in einem HDFS-Cluster vor, der per Map Reduce abgefragt wird, um kleine Archivdateien von 100 MByte zu erzeugen, die über Amazon S3 heruntergeladen werden können. Es ist aber auch eine direkte Abfrage der Daten via Map Reduce möglich.

Bislang arbeitete die Common Crawl Foundation eher im Stillen und sucht nun die Öffentlichkeit, damit die gesammelten Daten genutzt werden. Auch das von Ahad Rana entwickelte Crawl-System soll als Open Source auf Github veröffentlicht werden. Zudem will die Stiftung Bibliotheken zur Verfügung stellen, die den Umgang mit den Daten vereinfachen.



Anzeige
Top-Angebote
  1. (u. a. 15% auf ausgewählte Monitore, z. B 27xq QHD/144 Hz für 305,64€ statt 360,25€ im...
  2. (u. a. DOOM für 6,99€, Assassin's Creed Odyssey für 49,99€ und Civilization VI - Digital...
  3. (u. a. UE65NU7409 für 849€ statt 1.039,98€ im Vergleich)
  4. 39,98€ (Vergleichspreis ca. 72€)

Zaphod 08. Nov 2011

mit sicherheit gnadenlos von allen SEO'ler überrannt heute ...

DaM 08. Nov 2011

Vorbereitung is allet!

dabbes 08. Nov 2011

Die Benutzen ja nicht Pagerank sondern geben lediglich die Zahl aus. Selbst berechnet...


Folgen Sie uns
       


Assassin's Creed Odyssey - Test

Wir hätten nicht gedacht, dass wir erneut so gerne so viel Zeit in Ubisofts Antike verbringen.

Assassin's Creed Odyssey - Test Video aufrufen
Augmented Reality: Das AR-Fabrikgelände aus dem Smartphone
Augmented Reality
Das AR-Fabrikgelände aus dem Smartphone

Derzeit ist viel von einer Augmented Reality Cloud die Rede. Golem.de hat mit dem Berliner Startup Visualix über den Stand der Technik und künftige Projekte für Unternehmenskunden gesprochen - und darüber, was die Neuerungen für Pokémon Go bedeuten könnten.
Ein Interview von Achim Fehrenbach

  1. Jarvish Motorradhelm bringt Alexa in den Kopf
  2. Patentantrag Apple plant Augmented-Reality in der Windschutzscheibe
  3. Magic Leap Lumin OS Erste Bilder des Betriebssystems für Augmented Reality

Campusnetze: Das teure Versäumnis der Telekom
Campusnetze
Das teure Versäumnis der Telekom

Die Deutsche Telekom muss anderen Konzernen bei 5G-Campusnetzen entgegenkommen. Jahrzehntelang von Funklöchern auf dem Lande geplagt, wollen Siemens und die Automobilindustrie nun selbst Mobilfunknetze aufspannen. Auch der öffentliche Rundfunk will selbst 5G machen.
Eine Analyse von Achim Sawall

  1. Stadtnetzbetreiber 5G-Netz kann auch aus der Box kommen
  2. Achim Berg "In Sachen Gigabit ist Deutschland ein großer weißer Fleck"
  3. Telefónica Bündelung von Bandbreiten aus 4G und 5G ist doch möglich

Neuer Echo Dot im Test: Amazon kann doch gute Mini-Lautsprecher bauen
Neuer Echo Dot im Test
Amazon kann doch gute Mini-Lautsprecher bauen

Echo Dot steht bisher für muffigen, schlechten Klang. Mit dem neuen Modell zeigt Amazon, dass es doch gute smarte Mini-Lautsprecher mit dem Alexa-Sprachassistenten bauen kann, die sogar gegen die Konkurrenz von Google ankommen.
Ein Test von Ingo Pakalski


      •  /