Abo
  • Services:

Yahoo nimmt größten Hadoop-Cluster in Betrieb

Webmap umfasst 11 Billionen Verknüpfungen

Yahoo hat die bislang größte Hadoop-Installation in Betrieb genommen, auf der Yahoos Webmap liegt, die Basis von Yahoos Suche. Yahoos Hadoop-Installation umfasst mehr als 10.000 CPUs sowie 5 PByte Festplattenplatz.

Artikel veröffentlicht am ,

Bei Hadoop handelt es sich um eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten. Das Open-Source-Projekt ist mittlerweile bei Apache beheimatet und wird von Yahoo seit geraumer Zeit unterstützt.

Stellenmarkt
  1. GSI Helmholtzzentrum für Schwerionenforschung GmbH, Darmstadt
  2. Bechtle AG, Leipzig

Yahoo nutzt seinen Hadoop-Cluster, um seine so genannte Webmap zu erstellen. Sie beinhaltet alle Informationen, die Yahoo über das Web mit seinen Crawlern einsammelt, also jede einzelne Website, die Beziehungen zwischen Websites und Metadaten jeder einzelnen Seite. Dabei umfasst die Webmap mittlerweile über 11 Billionen Verknüpfungen zwischen einzelnen Webseiten. Die so gewonnenen Daten finden bei jeder Suchanfrage an Yahoo Verwendung, speist sich aus diesen Daten doch der Ranking-Algorithmus.

Der Umstieg auf Hadoop löst vor allem Skalierungsprobleme, die Yahoos alte Technik hatte, ist rund 50 Prozent schneller, verringert Ausfallzeiten und erleichtert die Administration. Dabei zeigt sich Yahoo sehr zufrieden mit Hadoop, obwohl die Software noch in einem sehr frühen Stadium ist.



Anzeige
Blu-ray-Angebote
  1. (2 Monate Sky Ticket für nur 4,99€)

Yeeeeeeeeeeha 21. Feb 2008

im Mathematik-Förderunterricht


Folgen Sie uns
       


Siri auf Deutsch auf dem Homepod

Wir haben uns die deutsche Version von Siri auf dem Homepod angehört. Bei den Funktionen hinkt Siri der Konkurrenz von Alexa und Google Assistant hinterher. Und auch an der Aussprache gibt es noch einiges zu feilen. Apples erster smarter Lautsprecher kostet 350 Euro.

Siri auf Deutsch auf dem Homepod Video aufrufen
Windenergie: Wie umweltfreundlich sind Offshore-Windparks?
Windenergie
Wie umweltfreundlich sind Offshore-Windparks?

Windturbinen auf hoher See liefern verlässlich grünen Strom. Frei von Umwelteinflüssen sind sie aber nicht. Während die eine Tierart profitiert, leidet die andere. Doch Abhilfe ist in Sicht.
Ein Bericht von Daniel Hautmann

  1. Hywind Scotland Windkraft Ahoi

Segelschiff: Das Vindskip steckt in der Flaute
Segelschiff
Das Vindskip steckt in der Flaute

Hochseeschiffe gelten als große Umweltverschmutzer. Neue saubere Antriebe sind gefragt. Der Norweger Terje Lade hat ein futuristisches Segelschiff entwickelt. Doch solch ein neuartiges Konzept umzusetzen, ist nicht so einfach.
Ein Bericht von Werner Pluta

  1. Energy Observer Toyota unterstützt Weltumrundung von Brennstoffzellenschiff
  2. Hyseas III Schottische Werft baut Hochseefähre mit Brennstoffzelle
  3. Kreuzschifffahrt Wie Brennstoffzellen Schiffe sauberer machen

Russische Agenten angeklagt: Mit Bitcoin und CCleaner gegen Hillary Clinton
Russische Agenten angeklagt
Mit Bitcoin und CCleaner gegen Hillary Clinton

Die US-Justiz hat zwölf russische Agenten wegen des Hacks im US-Präsidentschaftswahlkampf angeklagt. Die Anklageschrift nennt viele technische Details und erhebt auch Vorwürfe gegen das Enthüllungsportal Wikileaks.

  1. Nach Gipfeltreffen Trump glaubt Putin mehr als US-Geheimdiensten
  2. US Space Force Planlos im Weltraum
  3. Gewalt US-Präsident Trump will Gespräch mit Spielebranche

    •  /