Abo
  • Services:
Anzeige

Yahoo nimmt größten Hadoop-Cluster in Betrieb

Webmap umfasst 11 Billionen Verknüpfungen

Yahoo hat die bislang größte Hadoop-Installation in Betrieb genommen, auf der Yahoos Webmap liegt, die Basis von Yahoos Suche. Yahoos Hadoop-Installation umfasst mehr als 10.000 CPUs sowie 5 PByte Festplattenplatz.

Bei Hadoop handelt es sich um eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Das Open-Source-Projekt ist mittlerweile bei Apache beheimatet und wird von Yahoo seit geraumer Zeit unterstützt.

Anzeige

Yahoo nutzt seinen Hadoop-Cluster, um seine so genannte Webmap zu erstellen. Sie beinhaltet alle Informationen, die Yahoo über das Web mit seinen Crawlern einsammelt, also jede einzelne Website, die Beziehungen zwischen Websites und Metadaten jeder einzelnen Seite. Dabei umfasst die Webmap mittlerweile über 11 Billionen Verknüpfungen zwischen einzelnen Webseiten. Die so gewonnenen Daten finden bei jeder Suchanfrage an Yahoo Verwendung, speist sich aus diesen Daten doch der Ranking-Algorithmus.

Der Umstieg auf Hadoop löst vor allem Skalierungsprobleme, die Yahoos alte Technik hatte, ist rund 50 Prozent schneller, verringert Ausfallzeiten und erleichtert die Administration. Dabei zeigt sich Yahoo sehr zufrieden mit Hadoop, obwohl die Software noch in einem sehr frühen Stadium ist.


eye home zur Startseite
Yeeeeeeeeeeha 21. Feb 2008

im Mathematik-Förderunterricht



Anzeige

Stellenmarkt
  1. Continental AG, Regensburg
  2. Sky Deutschland GmbH, Unterföhring bei München
  3. Robert Bosch GmbH, Schwieberdingen
  4. Bosch Rexroth AG, Schwieberdingen


Anzeige
Spiele-Angebote
  1. 0,00€ USK 18
  2. (-72%) 5,55€
  3. 19,99€

Folgen Sie uns
       


  1. Android P

    Hintergrundaktivitäten von Apps werden stärker beschränkt

  2. Online-Glücksspiele

    Bei Finanzsperren droht illegale Vorratsdatenspeicherung

  3. Betaversionen

    AirPlay 2 aus iOS und TVOS 11.3 entfernt

  4. Homee

    Homekit mit Z-Wave, Zigbee und Enocean verbinden

  5. Apfel

    Apple lässt sich Regenbogenlogo schützen

  6. A350-1000

    Airbus' größter zweistrahliger Jet wird ausgeliefert

  7. Flightsim Labs

    Flugsimulator-Addon klaut bei illegalen Kopien Passwörter

  8. Entdeckertour angespielt

    Assassin's Creed Origins und die Spur der Geschichte

  9. Abwehr

    Qualcomm erhöht Gebot für NXP um 5 Milliarden US-Dollar

  10. Rockpro64

    Bastelplatine kommt mit USB-C, PCIe und Sechskernprozessor



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Lebensmittel-Lieferservices: Für Berufstätige auf dem Lande oft "praktisch nicht nutzbar"
Lebensmittel-Lieferservices
Für Berufstätige auf dem Lande oft "praktisch nicht nutzbar"
  1. Kassenloser Supermarkt Technikfehler bei Amazon Go
  2. Amazon Go Kassenloser Supermarkt öffnet
  3. ThinQ LG fährt voll auf künstliche Intelligenz ab

Ryzen 5 2400G und Ryzen 3 2200G im Test: Raven Ridge rockt
Ryzen 5 2400G und Ryzen 3 2200G im Test
Raven Ridge rockt
  1. Raven Ridge AMD verschickt CPUs für UEFI-Update
  2. Krypto-Mining AMDs Threadripper schürft effizient Monero
  3. AMD Zen+ und Zen 2 sind gegen Spectre gehärtet

Razer Kiyo und Seiren X im Test: Nicht professionell, aber schnell im Einsatz
Razer Kiyo und Seiren X im Test
Nicht professionell, aber schnell im Einsatz
  1. Stereolautsprecher Razer Nommo "Sind das Haartrockner?"
  2. Nextbit Cloud-Speicher für Robin-Smartphone wird abgeschaltet
  3. Razer Akku- und kabellose Spielemaus Mamba Hyperflux vorgestellt

  1. Schnellgeschwindigkeit?

    qupfer | 08:38

  2. Re: Danke für die Offenlegung

    budweiser | 08:36

  3. Re: Ach die haben einen Double Fine gemacht.

    Trollfeeder | 08:36

  4. Re: ENDLICH

    Astorek | 08:35

  5. Re: Das ist doch mal eine tolle Idee

    Unregistriert | 08:34


  1. 08:33

  2. 08:01

  3. 07:41

  4. 07:24

  5. 07:12

  6. 23:10

  7. 17:41

  8. 17:09


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel