Yahoo nimmt größten Hadoop-Cluster in Betrieb

Webmap umfasst 11 Billionen Verknüpfungen

Yahoo hat die bislang größte Hadoop-Installation in Betrieb genommen, auf der Yahoos Webmap liegt, die Basis von Yahoos Suche. Yahoos Hadoop-Installation umfasst mehr als 10.000 CPUs sowie 5 PByte Festplattenplatz.

Artikel veröffentlicht am ,

Bei Hadoop handelt es sich um eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Das Open-Source-Projekt ist mittlerweile bei Apache beheimatet und wird von Yahoo seit geraumer Zeit unterstützt.

Stellenmarkt
  1. Sachbearbeiter (m/w/d) Geräteverwaltung
    VOLTARIS GmbH, Maxdorf
  2. Datenschutzbeauftragter (m/w/d)
    Rodenstock GmbH, München
Detailsuche

Yahoo nutzt seinen Hadoop-Cluster, um seine so genannte Webmap zu erstellen. Sie beinhaltet alle Informationen, die Yahoo über das Web mit seinen Crawlern einsammelt, also jede einzelne Website, die Beziehungen zwischen Websites und Metadaten jeder einzelnen Seite. Dabei umfasst die Webmap mittlerweile über 11 Billionen Verknüpfungen zwischen einzelnen Webseiten. Die so gewonnenen Daten finden bei jeder Suchanfrage an Yahoo Verwendung, speist sich aus diesen Daten doch der Ranking-Algorithmus.

Der Umstieg auf Hadoop löst vor allem Skalierungsprobleme, die Yahoos alte Technik hatte, ist rund 50 Prozent schneller, verringert Ausfallzeiten und erleichtert die Administration. Dabei zeigt sich Yahoo sehr zufrieden mit Hadoop, obwohl die Software noch in einem sehr frühen Stadium ist.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Kernnetz
Telekom wechselt Cisco-Router im zentralen Backbone aus

Die Deutsche Telekom hat einen besseren Cisco-Router in ihrem zentralen Backbone installiert. Der erreicht 260 TBit/s und wirft Fragen zur IT-Sicherheit auf.

Kernnetz: Telekom wechselt Cisco-Router im zentralen Backbone aus
Artikel
  1. Geekbench & GFXBench: Erste Benchmarks zeigen starken Apple M1 Max
    Geekbench & GFXBench
    Erste Benchmarks zeigen starken Apple M1 Max

    Das Apple Silicon schneidet gut ab: Der M1 Max legt sich tatsächlich mit einer Geforce RTX 3080 Mobile und den schnellsten Laptop-CPUs an.

  2. Ladenetz: Tesla will Supercharger-Netz in zwei Jahren verdreifachen
    Ladenetz
    Tesla will Supercharger-Netz in zwei Jahren verdreifachen

    Tesla hat verkündet, sein Supercharger-Netzwerk zum Laden von Elektroautos deutlich auszubauen.

  3. Segway: Mecha-Kit verwandelt Scooter in Geschützturm mit Kanonen
    Segway
    Mecha-Kit verwandelt Scooter in Geschützturm mit Kanonen

    Segway-Ninebot hat ein Addon für seinen E-Scooter veröffentlicht. Das macht aus dem Gefährt einen bewaffneten Kampfroboter für Kinder.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • HP Herbst Sale bei NBB: Bis zu 500€ Rabatt auf Gaming-Notebooks, Monitore uvm. • Kingston RGB 32GB Kit 3200 116,90€ • LG OLED48A19LA 756,29€ • Finale des GP Anniversary Sales • Amazon Music 3 Monate gratis • Saturn Gutscheinheft: Direktabzüge und Zugaben [Werbung]
    •  /