Abo
  • Services:
Anzeige

Yahoo nimmt größten Hadoop-Cluster in Betrieb

Webmap umfasst 11 Billionen Verknüpfungen

Yahoo hat die bislang größte Hadoop-Installation in Betrieb genommen, auf der Yahoos Webmap liegt, die Basis von Yahoos Suche. Yahoos Hadoop-Installation umfasst mehr als 10.000 CPUs sowie 5 PByte Festplattenplatz.

Bei Hadoop handelt es sich um eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Das Open-Source-Projekt ist mittlerweile bei Apache beheimatet und wird von Yahoo seit geraumer Zeit unterstützt.

Anzeige

Yahoo nutzt seinen Hadoop-Cluster, um seine so genannte Webmap zu erstellen. Sie beinhaltet alle Informationen, die Yahoo über das Web mit seinen Crawlern einsammelt, also jede einzelne Website, die Beziehungen zwischen Websites und Metadaten jeder einzelnen Seite. Dabei umfasst die Webmap mittlerweile über 11 Billionen Verknüpfungen zwischen einzelnen Webseiten. Die so gewonnenen Daten finden bei jeder Suchanfrage an Yahoo Verwendung, speist sich aus diesen Daten doch der Ranking-Algorithmus.

Der Umstieg auf Hadoop löst vor allem Skalierungsprobleme, die Yahoos alte Technik hatte, ist rund 50 Prozent schneller, verringert Ausfallzeiten und erleichtert die Administration. Dabei zeigt sich Yahoo sehr zufrieden mit Hadoop, obwohl die Software noch in einem sehr frühen Stadium ist.


eye home zur Startseite
Yeeeeeeeeeeha 21. Feb 2008

im Mathematik-Förderunterricht



Anzeige

Stellenmarkt
  1. Arrow Central Europe GmbH, München, Neu-Isenburg, Stuttgart
  2. Dataport - Anstalt des öffentlichen Rechts, Altenholz / Kiel
  3. ADWEKO Consulting GmbH, Stuttgart
  4. Vodafone GmbH, Düsseldorf


Anzeige
Spiele-Angebote
  1. 14,99€ + 1,99€ Versand (für alle die kein NES Classic ergattern konnten)
  2. 99,99€ mit Vorbesteller-Preisgarantie
  3. 47,99€

Folgen Sie uns
       


  1. DreamHost

    US-Regierung will nun doch keine Daten von Trump-Gegnern

  2. Project Brainwave

    Microsoft beschleunigt KI-Technik mit Cloud-FPGAs

  3. Microsoft

    Im Windows Store gibt es viele illegale Streaming-Apps

  4. Alpha-One

    Lamborghini-Smartphone für über 2.000 Euro vorgestellt

  5. Wireless-AC 9560

    Intel packt WLAN in den Prozessor

  6. Linksys WRT32X

    Gaming-Router soll Ping um bis zu 77 Prozent reduzieren

  7. Mainframe-Prozessor

    IBMs Z14 mit 5,2 GHz und absurd viel Cache

  8. Android-App für Raspberry programmieren

    werGoogelnKann (kann auch Java)

  9. Aldebaran Robotics

    Roboter Pepper soll bei Beerdigungen in Japan auftreten

  10. Google Express

    Google und Walmart gehen Shopping-Kooperation ein



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Threadripper 1950X und 1920X im Test: AMD hat die schnellste Desktop-CPU
Threadripper 1950X und 1920X im Test
AMD hat die schnellste Desktop-CPU
  1. Ryzen AMD bestätigt Compiler-Fehler unter Linux
  2. CPU Achtkerniger Threadripper erscheint Ende August
  3. Ryzen 3 1300X und 1200 im Test Harte Gegner für Intels Core i3

Sysadmin Day 2017: Zum Admin-Sein fehlen mir die Superkräfte
Sysadmin Day 2017
Zum Admin-Sein fehlen mir die Superkräfte

Ausweis: Prepaid-Registrierung bislang nicht konsequent umgesetzt
Ausweis
Prepaid-Registrierung bislang nicht konsequent umgesetzt
  1. 10 GBit/s Erste 5G-Endgeräte sind noch einen Kubikmeter groß
  2. Verbraucherzentrale Datenlimits bei EU-Roaming wären vermeidbar
  3. Internet Anbieter umgehen Wegfall der EU-Roaming-Gebühren

  1. Re: Sinn???

    RicoBrassers | 16:00

  2. Re: Schade, dass Vega nicht nochmal so ein Sprung...

    PoorVega | 15:59

  3. Ohjee

    jsm | 15:58

  4. Re: programmiersüchtig?

    ve2000 | 15:55

  5. Re: Hauptsache ne Äpp

    Trollversteher | 15:53


  1. 16:08

  2. 15:54

  3. 14:51

  4. 14:35

  5. 14:19

  6. 12:45

  7. 12:30

  8. 12:05


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel