Abo
  • Services:
Anzeige

Yahoo nimmt größten Hadoop-Cluster in Betrieb

Webmap umfasst 11 Billionen Verknüpfungen

Yahoo hat die bislang größte Hadoop-Installation in Betrieb genommen, auf der Yahoos Webmap liegt, die Basis von Yahoos Suche. Yahoos Hadoop-Installation umfasst mehr als 10.000 CPUs sowie 5 PByte Festplattenplatz.

Bei Hadoop handelt es sich um eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Das Open-Source-Projekt ist mittlerweile bei Apache beheimatet und wird von Yahoo seit geraumer Zeit unterstützt.

Anzeige

Yahoo nutzt seinen Hadoop-Cluster, um seine so genannte Webmap zu erstellen. Sie beinhaltet alle Informationen, die Yahoo über das Web mit seinen Crawlern einsammelt, also jede einzelne Website, die Beziehungen zwischen Websites und Metadaten jeder einzelnen Seite. Dabei umfasst die Webmap mittlerweile über 11 Billionen Verknüpfungen zwischen einzelnen Webseiten. Die so gewonnenen Daten finden bei jeder Suchanfrage an Yahoo Verwendung, speist sich aus diesen Daten doch der Ranking-Algorithmus.

Der Umstieg auf Hadoop löst vor allem Skalierungsprobleme, die Yahoos alte Technik hatte, ist rund 50 Prozent schneller, verringert Ausfallzeiten und erleichtert die Administration. Dabei zeigt sich Yahoo sehr zufrieden mit Hadoop, obwohl die Software noch in einem sehr frühen Stadium ist.


eye home zur Startseite
Yeeeeeeeeeeha 21. Feb 2008

im Mathematik-Förderunterricht



Anzeige

Stellenmarkt
  1. UTILITY PARTNERS GmbH, Raum Stuttgart
  2. Fresenius Medical Care Deutschland GmbH, Schweinfurt
  3. LAUER-FISCHER ApothekenService GmbH, Wuppertal
  4. PTV Group, Karlsruhe


Anzeige
Hardware-Angebote
  1. 849,00€ (UVP € 1.298,99€)
  2. (reduzierte Überstände, Restposten & Co.)

Folgen Sie uns
       


  1. Deutsche Telekom

    Weitere 39.000 Haushalte bekommen heute Vectoring

  2. Musikerkennungsdienst

    Apple erwirbt Shazam

  3. FTTH

    EWE senkt die Preise für seine Glasfaserzugänge

  4. WLAN

    Zahl der Vodafone-Hotspots steigt auf zwei Millionen

  5. Linux-Grafiktreiber

    Mesa 17.3 verbessert Vulkan- und Embedded-Treiber

  6. Gemini Lake

    Intel bringt Pentium Silver mit Gigabit-WLAN

  7. MG07ACA

    Toshiba packt neun Platter in seine erste 14-TByte-HDD

  8. Sysinternals-Werkzeug

    Microsoft stellt Procdump für Linux vor

  9. Forschungsförderung

    Medizin-Nobelpreisträger Rosbash kritisiert Trump

  10. Sicherheit

    Keylogger in HP-Notebooks gefunden



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Fire TV (2017) im Test: Das Streaminggerät, das kaum einer braucht
Fire TV (2017) im Test
Das Streaminggerät, das kaum einer braucht
  1. Firmenstreit Google blockiert Youtube auf Amazons Fire TV
  2. Neuer Fire TV Amazons Streaming-Gerät bietet HDR für 80 Euro
  3. Streaming Update für Fire TV bringt Lupenfunktion

Montagewerk in Tilburg: Wo Tesla seine E-Autos für Europa produziert
Montagewerk in Tilburg
Wo Tesla seine E-Autos für Europa produziert
  1. Anheuser Busch US-Brauerei bestellt 40 Tesla-Trucks vor
  2. Elon Musk Tesla will eigene KI-Chips bauen
  3. Model S Tesla soll bei Elektroautoprämie geschummelt haben

E-Golf im Praxistest: Und lädt und lädt und lädt
E-Golf im Praxistest
Und lädt und lädt und lädt
  1. Mobilfunk Netzqualität in der Bahn weiter nicht ausreichend
  2. Leserfragen beantwortet Fährt der E-Golf auch bei Gewitter?
  3. Microsoft Sonar überprüft kostenlos Webseiten auf Fehler

  1. Re: Wie halten die das Helium da drin?

    maverick1977 | 03:33

  2. Re: Habe es soeben deinstalliert

    Iomegan | 03:31

  3. Re: Zielgerichtete Forschung benötigt keine...

    Ach | 03:10

  4. Shazam bleib wie du bist :)

    Spawn182 | 03:06

  5. Re: Bravo zur Entscheidung von Birkernstock

    jacki | 02:34


  1. 19:10

  2. 18:55

  3. 17:21

  4. 15:57

  5. 15:20

  6. 15:00

  7. 14:46

  8. 13:30


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel