Abo
  • Services:

Yahoo nimmt größten Hadoop-Cluster in Betrieb

Webmap umfasst 11 Billionen Verknüpfungen

Yahoo hat die bislang größte Hadoop-Installation in Betrieb genommen, auf der Yahoos Webmap liegt, die Basis von Yahoos Suche. Yahoos Hadoop-Installation umfasst mehr als 10.000 CPUs sowie 5 PByte Festplattenplatz.

Artikel veröffentlicht am ,

Bei Hadoop handelt es sich um eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Das Open-Source-Projekt ist mittlerweile bei Apache beheimatet und wird von Yahoo seit geraumer Zeit unterstützt.

Stellenmarkt
  1. BIM Berliner Immobilienmanagement GmbH, Berlin
  2. OHB System AG, Bremen, Oberpfaffenhofen

Yahoo nutzt seinen Hadoop-Cluster, um seine so genannte Webmap zu erstellen. Sie beinhaltet alle Informationen, die Yahoo über das Web mit seinen Crawlern einsammelt, also jede einzelne Website, die Beziehungen zwischen Websites und Metadaten jeder einzelnen Seite. Dabei umfasst die Webmap mittlerweile über 11 Billionen Verknüpfungen zwischen einzelnen Webseiten. Die so gewonnenen Daten finden bei jeder Suchanfrage an Yahoo Verwendung, speist sich aus diesen Daten doch der Ranking-Algorithmus.

Der Umstieg auf Hadoop löst vor allem Skalierungsprobleme, die Yahoos alte Technik hatte, ist rund 50 Prozent schneller, verringert Ausfallzeiten und erleichtert die Administration. Dabei zeigt sich Yahoo sehr zufrieden mit Hadoop, obwohl die Software noch in einem sehr frühen Stadium ist.



Anzeige
Blu-ray-Angebote
  1. (u. a. 3 Blu-rays für 15€, 2 Neuheiten für 15€)
  2. (u. a. ES Blu-ray 10,83€, Die nackte Kanone Blu-ray-Box-Set 14,99€)
  3. 5€ inkl. FSK-18-Versand

Yeeeeeeeeeeha 21. Feb 2008

im Mathematik-Förderunterricht


Folgen Sie uns
       


Bose Sleepbuds - Test

Stille Nacht? Die Bose Sleepbuds begegnen nächtlichen Störgeräuschen mit einem Klangteppich, wir haben sie ausprobiert.

Bose Sleepbuds - Test Video aufrufen
Nubia X im Hands on: Lieber zwei Bildschirme als eine Notch
Nubia X im Hands on
Lieber zwei Bildschirme als eine Notch

CES 2019 Nubia hat auf der CES eines der interessantesten Smartphones der letzten Monate gezeigt: Dank zweier Bildschirme braucht das Nubia X keine Frontkamera - und dementsprechend auch keine Notch. Die Umsetzung der Dual-Screen-Lösung gefällt uns gut.

  1. H2Bike Alpha Wasserstoff-Fahrrad fährt 100 Kilometer weit
  2. Bosch Touch-Projektoren angesehen Virtuelle Displays für Küche und Schrank
  3. Mobilität Das Auto der Zukunft ist modular und wandelbar

Nubia Red Magic Mars im Hands On: Gaming-Smartphone mit Top-Ausstattung für 390 Euro
Nubia Red Magic Mars im Hands On
Gaming-Smartphone mit Top-Ausstattung für 390 Euro

CES 2019 Mit dem Red Magic Mars bringt Nubia ein interessantes und vor allem verhältnismäßig preiswertes Gaming-Smartphone nach Deutschland. Es hat einen Leistungsmodus und Schulter-Sensortasten, die beim Zocken helfen können.
Ein Hands on von Tobias Költzsch

  1. ATH-ANC900BT Audio Technica zeigt neuen ANC-Kopfhörer
  2. Smart Clock Lenovo setzt bei Echo-Spot-Variante auf Google Assistant
  3. Smart Tab Lenovo zeigt Mischung aus Android-Tablet und Echo Show

WLAN-Tracking und Datenschutz: Ist das Tracken von Nutzern übers Smartphone legal?
WLAN-Tracking und Datenschutz
Ist das Tracken von Nutzern übers Smartphone legal?

Unternehmen tracken das Verhalten von Nutzern nicht nur beim Surfen im Internet, sondern per WLAN auch im echten Leben: im Supermarkt, im Hotel - und selbst auf der Straße. Ob sie das dürfen, ist juristisch mehr als fraglich.
Eine Analyse von Harald Büring

  1. Gefahr für Werbenetzwerke Wie legal ist das Tracking von Online-Nutzern?
  2. Landtagswahlen in Bayern und Hessen Tracker im Wahl-O-Mat der bpb-Medienpartner
  3. Tracking Facebook wechselt zu First-Party-Cookie

    •  /