Yahoo nimmt größten Hadoop-Cluster in Betrieb

Webmap umfasst 11 Billionen Verknüpfungen

Yahoo hat die bislang größte Hadoop-Installation in Betrieb genommen, auf der Yahoos Webmap liegt, die Basis von Yahoos Suche. Yahoos Hadoop-Installation umfasst mehr als 10.000 CPUs sowie 5 PByte Festplattenplatz.

Artikel veröffentlicht am ,

Bei Hadoop handelt es sich um eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Das Open-Source-Projekt ist mittlerweile bei Apache beheimatet und wird von Yahoo seit geraumer Zeit unterstützt.

Stellenmarkt
  1. Sozial- oder Wirtschaftswissenschaftler (w/m/d)
    Statistisches Landesamt Baden-Württemberg, Stuttgart
  2. Wissenschaftliche Referentinnen oder Wissenschaftliche Referenten (w/m/d)
    DLR Deutsches Zentrum für Luft- und Raumfahrt e.V., Berlin
Detailsuche

Yahoo nutzt seinen Hadoop-Cluster, um seine so genannte Webmap zu erstellen. Sie beinhaltet alle Informationen, die Yahoo über das Web mit seinen Crawlern einsammelt, also jede einzelne Website, die Beziehungen zwischen Websites und Metadaten jeder einzelnen Seite. Dabei umfasst die Webmap mittlerweile über 11 Billionen Verknüpfungen zwischen einzelnen Webseiten. Die so gewonnenen Daten finden bei jeder Suchanfrage an Yahoo Verwendung, speist sich aus diesen Daten doch der Ranking-Algorithmus.

Der Umstieg auf Hadoop löst vor allem Skalierungsprobleme, die Yahoos alte Technik hatte, ist rund 50 Prozent schneller, verringert Ausfallzeiten und erleichtert die Administration. Dabei zeigt sich Yahoo sehr zufrieden mit Hadoop, obwohl die Software noch in einem sehr frühen Stadium ist.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Paramount+ im Test
Paramounts peinliche Premiere

Ein kleiner Katalog an Filmen und Serien, gepaart mit vielen technischen Einschränkungen. So wird Paramount+ Disney+, Netflix und Prime Video nicht gefährlich.
Ein Test von Ingo Pakalski

Paramount+ im Test: Paramounts peinliche Premiere
Artikel
  1. Sicherheit: FBI ist zutiefst besorgt über Apples neue Verschlüsselung
    Sicherheit
    FBI ist "zutiefst besorgt" über Apples neue Verschlüsselung

    Das FBI könnte mit Apples Advanced Data Protection seinen wichtigsten Zugang zu iPhones verlieren. Doch dafür muss die Funktion von Nutzern aktiviert werden.

  2. Smartphones: Huawei schliesst große Patentverträge mit Oppo und Samsung
    Smartphones
    Huawei schliesst große Patentverträge mit Oppo und Samsung

    Huawei hat sich mit den großen Smartphoneherstellern Oppo und Samsung geeinigt, Patente zu tauschen und dafür zu zahlen.

  3. Intellectual Property: Wie aus der CPU ein System-on-Chip wird
    Intellectual Property
    Wie aus der CPU ein System-on-Chip wird

    Moderne Chips bestehen längst nicht mehr nur aus der CPU, sondern aus Hunderten Komponenten. Daher ist es nahezu unmöglich, einen Prozessor selbst zu entwickeln. Wir erklären wieso!
    Eine Analyse von Martin Böckmann

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Gaming-Monitore -37% • Asus RTX 4080 1.399€ • PS5 bestellbar • Gaming-Laptops & Desktop-PCs -29% • MindStar: Sapphire RX 6900 XT 799€ statt 1.192€, Apple iPad (2022) 256 GB 599€ statt 729€ • Samsung SSDs -28% • Logitech Mäuse, Tastaturen & Headsets -53% [Werbung]
    •  /