Abo
  • Services:
Anzeige

Yahoo nimmt größten Hadoop-Cluster in Betrieb

Webmap umfasst 11 Billionen Verknüpfungen

Yahoo hat die bislang größte Hadoop-Installation in Betrieb genommen, auf der Yahoos Webmap liegt, die Basis von Yahoos Suche. Yahoos Hadoop-Installation umfasst mehr als 10.000 CPUs sowie 5 PByte Festplattenplatz.

Bei Hadoop handelt es sich um eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Das Open-Source-Projekt ist mittlerweile bei Apache beheimatet und wird von Yahoo seit geraumer Zeit unterstützt.

Anzeige

Yahoo nutzt seinen Hadoop-Cluster, um seine so genannte Webmap zu erstellen. Sie beinhaltet alle Informationen, die Yahoo über das Web mit seinen Crawlern einsammelt, also jede einzelne Website, die Beziehungen zwischen Websites und Metadaten jeder einzelnen Seite. Dabei umfasst die Webmap mittlerweile über 11 Billionen Verknüpfungen zwischen einzelnen Webseiten. Die so gewonnenen Daten finden bei jeder Suchanfrage an Yahoo Verwendung, speist sich aus diesen Daten doch der Ranking-Algorithmus.

Der Umstieg auf Hadoop löst vor allem Skalierungsprobleme, die Yahoos alte Technik hatte, ist rund 50 Prozent schneller, verringert Ausfallzeiten und erleichtert die Administration. Dabei zeigt sich Yahoo sehr zufrieden mit Hadoop, obwohl die Software noch in einem sehr frühen Stadium ist.


eye home zur Startseite
Yeeeeeeeeeeha 21. Feb 2008

im Mathematik-Förderunterricht



Anzeige

Stellenmarkt
  1. OPERATIONAL SERVICES GMBH & CO. KG, Berlin, Dresden, Frankfurt am Main, München
  2. über Hanseatisches Personalkontor Bodensee, Rottweil-Neukirch
  3. cab Produkttechnik GmbH & Co. KG, Karlsruhe
  4. Carl Büttner GmbH & Co. KG, Bremen


Anzeige
Hardware-Angebote
  1. 229,99€
  2. 18,99€ statt 39,99€

Folgen Sie uns
       


  1. Deep Descent

    Aquanox lädt in Tiefsee-Beta

  2. Android-Apps

    Google belohnt Fehlersuche im Play Store

  3. Depublizierung

    7-Tage-Löschfrist für ARD und ZDF im Internet fällt weg

  4. Netzneutralität

    Telekom darf Auflagen zu Stream On länger prüfen

  5. Spielebranche

    Kopf-an-Kopf-Rennen zwischen Pro und X erwartet

  6. Thunderobot ST-Plus im Praxistest

    Da gehe ich doch lieber wieder draußen spielen!

  7. Fahrdienst

    Alphabet investiert in Lyft

  8. Virtuelles Haustier

    Bandai kündigt "Classic Mini"-Version des Tamagotchi an

  9. News

    Facebook testet Abos für Nachrichten-Artikel

  10. Elon Musk

    Baut The Boring Company den Hyperloop?



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Passwortmanager im Vergleich: Das letzte Passwort, das du dir jemals merken musst
Passwortmanager im Vergleich
Das letzte Passwort, das du dir jemals merken musst
  1. 30.000 US-Dollar Schaden Admin wegen Sabotage nach Kündigung verurteilt
  2. Cyno Sure Prime Passwortcracker nehmen Troy Hunts Hashes auseinander
  3. Passwortmanager Lastpass ab sofort doppelt so teuer

APFS in High Sierra 10.13 im Test: Apple hat die MacOS-Dateisystem-Werkzeuge vergessen
APFS in High Sierra 10.13 im Test
Apple hat die MacOS-Dateisystem-Werkzeuge vergessen
  1. MacOS 10.13 Apple gibt High Sierra frei
  2. MacOS 10.13 High Sierra Wer eine SSD hat, muss auf APFS umstellen

Elex im Test: Schroffe Schale und postapokalyptischer Kern
Elex im Test
Schroffe Schale und postapokalyptischer Kern

  1. Re: Litium-Brände mit Wasser bekämpfen?!

    Eheran | 16:28

  2. Re: Ein Trauerspiel ... wir User müssen Apple an...

    derdiedas | 16:22

  3. Re: Was mache ich falsch?

    quineloe | 16:22

  4. Re: Schade, dass der Quantum Computer schlechter...

    quineloe | 16:21

  5. Re: Ich finds gut, auch wenn ich den ÖR nicht mag.

    Muhaha | 16:20


  1. 16:10

  2. 15:50

  3. 15:05

  4. 14:37

  5. 12:50

  6. 12:22

  7. 11:46

  8. 11:01


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel