Abo
  • Services:

Yahoo nimmt größten Hadoop-Cluster in Betrieb

Webmap umfasst 11 Billionen Verknüpfungen

Yahoo hat die bislang größte Hadoop-Installation in Betrieb genommen, auf der Yahoos Webmap liegt, die Basis von Yahoos Suche. Yahoos Hadoop-Installation umfasst mehr als 10.000 CPUs sowie 5 PByte Festplattenplatz.

Artikel veröffentlicht am ,

Bei Hadoop handelt es sich um eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Das Open-Source-Projekt ist mittlerweile bei Apache beheimatet und wird von Yahoo seit geraumer Zeit unterstützt.

Stellenmarkt
  1. iWelt AG, Eibelstadt
  2. Hans Soldan GmbH, Essen

Yahoo nutzt seinen Hadoop-Cluster, um seine so genannte Webmap zu erstellen. Sie beinhaltet alle Informationen, die Yahoo über das Web mit seinen Crawlern einsammelt, also jede einzelne Website, die Beziehungen zwischen Websites und Metadaten jeder einzelnen Seite. Dabei umfasst die Webmap mittlerweile über 11 Billionen Verknüpfungen zwischen einzelnen Webseiten. Die so gewonnenen Daten finden bei jeder Suchanfrage an Yahoo Verwendung, speist sich aus diesen Daten doch der Ranking-Algorithmus.

Der Umstieg auf Hadoop löst vor allem Skalierungsprobleme, die Yahoos alte Technik hatte, ist rund 50 Prozent schneller, verringert Ausfallzeiten und erleichtert die Administration. Dabei zeigt sich Yahoo sehr zufrieden mit Hadoop, obwohl die Software noch in einem sehr frühen Stadium ist.



Anzeige
Hardware-Angebote
  1. 119,90€

Yeeeeeeeeeeha 21. Feb 2008

im Mathematik-Förderunterricht


Folgen Sie uns
       


Hallo Magenta - Präsentation auf der Ifa 2018

Auf der Ifa 2018 hat die Deutsche Telekom ihren eigenen smarten Assistenten gezeigt. Er läuft auf einem ebenfalls selbst entwickelten smarten Lautsprecher und soll zunächst trainiert werden. Telekom-Kunden können an einem Test teilnehmen und erhalten dafür den Lautsprecher kostenlos.

Hallo Magenta - Präsentation auf der Ifa 2018 Video aufrufen
Athlon 200GE im Test: Celeron und Pentium abgehängt
Athlon 200GE im Test
Celeron und Pentium abgehängt

Mit dem Athlon 200GE belebt AMD den alten CPU-Markennamen wieder: Der Chip gefällt durch seine Zen-Kerne und die integrierte Vega-Grafikeinheit, die Intel-Konkurrenz hat dem derzeit preislich wenig entgegenzusetzen.
Ein Test von Marc Sauter

  1. AMD Threadripper erhalten dynamischen NUMA-Modus
  2. HP Elitedesk 705 Workstation Edition Minitower mit AMD-CPU startet bei 680 Euro
  3. Ryzen 5 2600H und Ryzen 7 2800H 45-Watt-CPUs mit Vega-Grafik für Laptops sind da

Shine 3: Neuer Tolino-Reader bringt mehr Lesekomfort
Shine 3
Neuer Tolino-Reader bringt mehr Lesekomfort

Die Tolino-Allianz bringt das Nachfolgemodell des Shine 2 HD auf den Markt. Das Shine 3 erhält mehr Ausstattungsdetails aus der E-Book-Reader-Oberklasse. Vor allem beim Lesen macht sich das positiv bemerkbar.
Ein Hands on von Ingo Pakalski

  1. E-Book-Reader Update macht Tolino-Geräte unbrauchbar

Xilinx-CEO Victor Peng im Interview: Wir sind überall
Xilinx-CEO Victor Peng im Interview
"Wir sind überall"

Programmierbare Schaltungen, kurz FPGAs, sind mehr als nur Werkzeuge, um Chips zu entwickeln: Im Interview spricht Xilinx-CEO Victor Peng über überholte Vorurteile, den Erfolg des Interposers, die 7-nm-Fertigung und darüber, dass nach dem Tape-out der Spaß erst beginnt.
Ein Interview von Marc Sauter

  1. Versal-FPGAs Xilinx macht Nvidia das AI-Geschäft streitig
  2. Project Everest Xilinx bringt ersten FPGA mit 7-nm-Technik

    •  /