Abo
  • IT-Karriere:

Yahoo nimmt größten Hadoop-Cluster in Betrieb

Webmap umfasst 11 Billionen Verknüpfungen

Yahoo hat die bislang größte Hadoop-Installation in Betrieb genommen, auf der Yahoos Webmap liegt, die Basis von Yahoos Suche. Yahoos Hadoop-Installation umfasst mehr als 10.000 CPUs sowie 5 PByte Festplattenplatz.

Artikel veröffentlicht am ,

Bei Hadoop handelt es sich um eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Das Open-Source-Projekt ist mittlerweile bei Apache beheimatet und wird von Yahoo seit geraumer Zeit unterstützt.

Stellenmarkt
  1. Wirecard Technologies GmbH, Aschheim near Munich
  2. Wirecard Technologies GmbH, Aschheim bei München

Yahoo nutzt seinen Hadoop-Cluster, um seine so genannte Webmap zu erstellen. Sie beinhaltet alle Informationen, die Yahoo über das Web mit seinen Crawlern einsammelt, also jede einzelne Website, die Beziehungen zwischen Websites und Metadaten jeder einzelnen Seite. Dabei umfasst die Webmap mittlerweile über 11 Billionen Verknüpfungen zwischen einzelnen Webseiten. Die so gewonnenen Daten finden bei jeder Suchanfrage an Yahoo Verwendung, speist sich aus diesen Daten doch der Ranking-Algorithmus.

Der Umstieg auf Hadoop löst vor allem Skalierungsprobleme, die Yahoos alte Technik hatte, ist rund 50 Prozent schneller, verringert Ausfallzeiten und erleichtert die Administration. Dabei zeigt sich Yahoo sehr zufrieden mit Hadoop, obwohl die Software noch in einem sehr frühen Stadium ist.



Anzeige
Spiele-Angebote
  1. (-64%) 35,99€
  2. 22,99€
  3. 4,99€
  4. 69,99€ (Release am 21. Februar 2020, mit Vorbesteller-Preisgarantie)

Yeeeeeeeeeeha 21. Feb 2008

im Mathematik-Förderunterricht


Folgen Sie uns
       


Golem.de probiert 5G in Berlin aus - Bericht

Wir probieren 5G in Berlin-Adlershof aus.

Golem.de probiert 5G in Berlin aus - Bericht Video aufrufen
Change-Management: Die Zeiten, sie, äh, ändern sich
Change-Management
Die Zeiten, sie, äh, ändern sich

Einen Change zu wollen, gehört heute zum guten Ton in der Unternehmensführung. Doch ein erzwungener Wandel in der Firmenkultur löst oft keine Probleme und schafft sogar neue.
Ein Erfahrungsbericht von Marvin Engel

  1. IT-Jobs Der Amtsschimmel wiehert jetzt agil
  2. MINT Werden Frauen überfördert?
  3. Recruiting Wenn das eigene Wachstum zur Herausforderung wird

Linux-Kernel: Selbst Google ist unfähig, Android zu pflegen
Linux-Kernel
Selbst Google ist unfähig, Android zu pflegen

Bisher gilt Google als positive Ausnahme von der schlechten Update-Politik im Android-Ökosystem. Doch eine aktuelle Sicherheitslücke zeigt, dass auch Google die Updates nicht im Griff hat. Das ist selbst verschuldet und könnte vermieden werden.
Ein IMHO von Sebastian Grüner

  1. Kernel Linux bekommt Unterstützung für USB 4
  2. Kernel Vorschau auf Linux 5.4 bringt viele Security-Funktionen
  3. Linux Lockdown-Patches im Kernel aufgenommen

Alexa: Das allgegenwärtige Ohr Amazons
Alexa
Das allgegenwärtige Ohr Amazons

Die kürzlich angekündigten Echo-Produkte bringen Amazons Sprachassistentin Alexa auf die Straße und damit Datenschutzprobleme in die U-Bahn oder in bisher Alexa-freie Wohnzimmer. Mehrere Landesdatenschutzbeauftragte haben Golem.de erklärt, ob und wie die Geräte eingesetzt werden dürfen.
Von Moritz Tremmel

  1. Digitaler Assistent Amazon bringt neue Funktionen für Alexa
  2. Echo Frames und Echo Loop Amazon zeigt eine Brille und einen Ring mit Alexa
  3. Alexa Answers Nutzer smarter Lautsprecher sollen Alexa Wissen beibringen

    •  /