Abo
  • IT-Karriere:

Yahoo nimmt größten Hadoop-Cluster in Betrieb

Webmap umfasst 11 Billionen Verknüpfungen

Yahoo hat die bislang größte Hadoop-Installation in Betrieb genommen, auf der Yahoos Webmap liegt, die Basis von Yahoos Suche. Yahoos Hadoop-Installation umfasst mehr als 10.000 CPUs sowie 5 PByte Festplattenplatz.

Artikel veröffentlicht am ,

Bei Hadoop handelt es sich um eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Das Open-Source-Projekt ist mittlerweile bei Apache beheimatet und wird von Yahoo seit geraumer Zeit unterstützt.

Stellenmarkt
  1. AKDB, Regensburg
  2. Bertrandt Technikum GmbH, Ehningen bei Stuttgart

Yahoo nutzt seinen Hadoop-Cluster, um seine so genannte Webmap zu erstellen. Sie beinhaltet alle Informationen, die Yahoo über das Web mit seinen Crawlern einsammelt, also jede einzelne Website, die Beziehungen zwischen Websites und Metadaten jeder einzelnen Seite. Dabei umfasst die Webmap mittlerweile über 11 Billionen Verknüpfungen zwischen einzelnen Webseiten. Die so gewonnenen Daten finden bei jeder Suchanfrage an Yahoo Verwendung, speist sich aus diesen Daten doch der Ranking-Algorithmus.

Der Umstieg auf Hadoop löst vor allem Skalierungsprobleme, die Yahoos alte Technik hatte, ist rund 50 Prozent schneller, verringert Ausfallzeiten und erleichtert die Administration. Dabei zeigt sich Yahoo sehr zufrieden mit Hadoop, obwohl die Software noch in einem sehr frühen Stadium ist.



Anzeige
Spiele-Angebote
  1. 2,22€
  2. 3,99€ statt 19,99€
  3. 3,99€
  4. 36,99€

Yeeeeeeeeeeha 21. Feb 2008

im Mathematik-Förderunterricht


Folgen Sie uns
       


Motorola One Vision - Hands on

Das zweite Android-One-Smartphone von Motorola heißt One Vision. Es hat eine 48-Megapixel-Kamera von Samsung, die vor allem auf gute Aufnahmen bei schwachem Licht optimiert wurde. Das Smartphone mit dem 7:3-Display kommt Ende Mai 2019 für 300 Euro auf den Markt.

Motorola One Vision - Hands on Video aufrufen
Recycling: Die Plastikfischer
Recycling
Die Plastikfischer

Millionen Tonnen Kunststoff landen jedes Jahr im Meer. Müllschlucker, die das Material einsammeln, sind bislang wenig erfolgreich. Eine schwimmende Recycling-Fabrik, die die wichtigsten Häfen anläuft, könnte helfen, das Problem zu lösen.
Ein Bericht von Daniel Hautmann

  1. Elektroautos Audi verbündet sich mit Partner für Akkurecycling
  2. Urban Mining Wie aus alten Platinen wieder Kupfer wird

Chromium: Der neue Edge-Browser könnte auch Chrome besser machen
Chromium
Der neue Edge-Browser könnte auch Chrome besser machen

Build 2019 Wie sieht die Zukunft des Edge-Browsers aus und was will Microsoft zum Chromium-Projekt beitragen? Im Gespräch mit Golem.de gibt das Unternehmen die vage Aussicht auf einen Release für Linux und Verbesserungen in Google Chrome. Bis dahin steht viel Arbeit an.
Von Oliver Nickel

  1. Insiderprogramm Microsoft bietet Vorversionen von Edge für den Mac an
  2. Browser Edge auf Chromium-Basis wird Netflix in 4K unterstützen
  3. Browser Microsoft lässt nur Facebook auf Flash-Whitelist in Edge

e.Go Life: Ein Auto, das lächelt
e.Go Life
Ein Auto, das lächelt

Das Auto ist zwar klein, bringt aber sogar gestandene Rennfahrer ins Schwärmen: Das Aachener Unternehmen e.Go Mobile hat seine ersten Elektroautos ausgeliefert. In einer Probefahrt erweist sich der Kleinwagen als sehr dynamisch.
Ein Bericht von Werner Pluta

  1. Eon-Studie Netzausbau kostet maximal 400 Euro pro Elektroauto
  2. EZ-Pod Renault-Miniauto soll Stadtverkehr in Kolonne fahren
  3. Elektromobilität EnBW will weitere 2.000 Schnellladepunkte errichten

    •  /