Abo
  • Services:

Yahoo nimmt größten Hadoop-Cluster in Betrieb

Webmap umfasst 11 Billionen Verknüpfungen

Yahoo hat die bislang größte Hadoop-Installation in Betrieb genommen, auf der Yahoos Webmap liegt, die Basis von Yahoos Suche. Yahoos Hadoop-Installation umfasst mehr als 10.000 CPUs sowie 5 PByte Festplattenplatz.

Artikel veröffentlicht am ,

Bei Hadoop handelt es sich um eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Das Open-Source-Projekt ist mittlerweile bei Apache beheimatet und wird von Yahoo seit geraumer Zeit unterstützt.

Stellenmarkt
  1. ING-DiBa AG, Frankfurt
  2. BWI GmbH, Bonn

Yahoo nutzt seinen Hadoop-Cluster, um seine so genannte Webmap zu erstellen. Sie beinhaltet alle Informationen, die Yahoo über das Web mit seinen Crawlern einsammelt, also jede einzelne Website, die Beziehungen zwischen Websites und Metadaten jeder einzelnen Seite. Dabei umfasst die Webmap mittlerweile über 11 Billionen Verknüpfungen zwischen einzelnen Webseiten. Die so gewonnenen Daten finden bei jeder Suchanfrage an Yahoo Verwendung, speist sich aus diesen Daten doch der Ranking-Algorithmus.

Der Umstieg auf Hadoop löst vor allem Skalierungsprobleme, die Yahoos alte Technik hatte, ist rund 50 Prozent schneller, verringert Ausfallzeiten und erleichtert die Administration. Dabei zeigt sich Yahoo sehr zufrieden mit Hadoop, obwohl die Software noch in einem sehr frühen Stadium ist.



Anzeige
Hardware-Angebote
  1. 119,90€
  2. 62,90€
  3. 45,99€
  4. 18,99€

Yeeeeeeeeeeha 21. Feb 2008

im Mathematik-Förderunterricht


Folgen Sie uns
       


HMD zeigt das Nokia 210 (MWC 2019)

Das Nokia 210 ist ein 2,5G Featurephone.

HMD zeigt das Nokia 210 (MWC 2019) Video aufrufen
Zotac Geforce GTX 1660 Ti im Test: Gute 1440p-Karte für unter 300 Euro
Zotac Geforce GTX 1660 Ti im Test
Gute 1440p-Karte für unter 300 Euro

Die Geforce GTX 1660 Ti von Zotac ist eine der günstigen Grafikkarten mit Nvidias Turing-Architektur, dennoch erhalten Käufer ein empfehlenswertes Modell: Der leise Pixelbeschleuniger rechnet praktisch so flott wie übertaktete Modelle, braucht aber weniger Energie.
Ein Test von Marc Sauter

  1. Grafikkarte Chip der Geforce GTX 1660 Ti ist überraschend groß
  2. Deep Learning Supersampling Nvidia will DLSS-Kantenglättung verbessern
  3. Metro Exodus im Technik-Test Richtiges Raytracing rockt

Geforce GTX 1660 im Test: Für 230 Euro eine faire Sache
Geforce GTX 1660 im Test
Für 230 Euro eine faire Sache

Die Geforce GTX 1660 - ohne Ti am Ende - rechnet so flott wie AMDs Radeon RX 590 und kostet in etwa das Gleiche. Der klare Vorteil der Nvidia-Grafikkarte ist die drastisch geringere Leistungsaufnahme.

  1. Nvidia Turing OBS unterstützt Encoder der Geforce RTX
  2. Geforce GTX 1660 Ti im Test Nvidia kann Turing auch günstig(er)
  3. Turing-Grafikkarten Nvidias Geforce 1660/1650 erscheint im März

Chrome OS Crostini angesehen: Dieses Nerd-Unix läuft wie geschnitten Brot
Chrome OS Crostini angesehen
Dieses Nerd-Unix läuft wie geschnitten Brot

Mit Crostini bringt Google nun auch eine echte Linux-Umgebung auf Chromebooks, die dafür eigentlich nie vorgesehen waren. Google kann dafür auf ein echtes Linux-System und sehr viel Erfahrung zurückgreifen. Der Nutzung als Entwicklerkiste steht damit fast nichts mehr im Weg.
Von Sebastian Grüner

  1. Google Chromebooks bekommen virtuelle Arbeitsflächen
  2. Crostini VMs in Chromebooks bekommen GPU-Beschleunigung
  3. Crostini Linux-Apps für ChromeOS kommen für andere Distributionen

    •  /