Abo
  • Services:

Yahoo veröffentlicht eigene Hadoop-Distribution

Ausgiebig getestete und erweiterte Hadoop-Version ausschließlich im Quelltext

Yahoo hat eine eigene Distribution von Apache Hadoop angekündigt. Die bei Yahoo intern eingesetzte Hadoop-Version stellt das Unternehmen Dritten im Quelltext zur Verfügung.

Artikel veröffentlicht am ,

Apache Hadoop ist eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten.

Stellenmarkt
  1. Autobahn Tank & Rast Gruppe, Bonn
  2. Haufe Group, Freiburg

Yahoo betreibt nach eigenen Angaben die größte Hadoop-Installation weltweit, verteilt auf mehr als 25.000 Server. Der Cluster analysiert die Daten aus mehreren Milliarden Suchanfragen monatlich und kommt auch bei Yahoo-Mail sowie für Yahoos Werbesystem zum Einsatz. Insgesamt werden täglich mehrere Petabyte an Daten verarbeitet.

Zwar setzt Yahoo dabei Apache Hadoop ein, testet die jeweils eingesetzten Versionen aber jeweils zwei Tage auf einem Testcluster mit 500 Servern und erweitert das System den eigenen Bedürfnissen entsprechend. Dabei entsteht eine ausgiebig getestete Version, die bei Yahoo im produktiven Einsatz ist und die nun auch Dritten zur Verfügung gestellt wird.

Die "Yahoo! Distribution of Hadoop" bietet Yahoo ausschließlich im Quelltext an. Die darin enthaltenen Patches werden zudem komplett dem Hadoop-Projekt zur Verfügung gestellt. Support gibt es von Yahoo nicht, das Unternehmen betont aber ausdrücklich, die Distribution könne auch als Basis für Unternehmen dienen, die kommerzielle Dienste anbieten wollen.



Anzeige
Top-Angebote
  1. 6,49€
  2. 219€ (Vergleichspreis 251€)
  3. 19,89€ inkl. Versand (Vergleichspreis ca. 30€)

beaver 08. Nov 2009

Wir testen gerade unser Suchmaschinen Projekt auf einen Hadoop Cluster http://www.search2.net


Folgen Sie uns
       


Smartphones Made in Germany - Bericht

Gigaset baut Smartphones - in Deutschland.

Smartphones Made in Germany - Bericht Video aufrufen
Esa: Sonnensystemforschung ohne Plutonium
Esa
Sonnensystemforschung ohne Plutonium

Forscher der Esa arbeiten an Radioisotopenbatterien, die ohne das knappe und aufwendig herzustellende Plutonium-238 auskommen. Stattdessen soll Americium-241 aus abgebrannten Brennstäben von Kernkraftwerken zum Einsatz kommen. Ein erster Prototyp ist bereits fertig.
Von Frank Wunderlich-Pfeiffer

  1. Raumfahrt Die Digitalisierung des Weltraums
  2. Raumfahrt Mann überprüft mit Rakete, ob die Erde eine Scheibe ist
  3. Raumfahrt Falsch abgebogen wegen Eingabefehler

Hasskommentare: Wie würde es im Netz aussehen, wenn es uns nicht gäbe?
Hasskommentare
"Wie würde es im Netz aussehen, wenn es uns nicht gäbe?"

Hannes Ley hat vor rund anderthalb Jahren die Online-Initiative #ichbinhier gegründet. Die Facebook-Gruppe schreibt Erwiderungen auf Hasskommentare und hat mittlerweile knapp 40.000 Mitglieder. Im Interview mit Golem.de erklärt Ley, wie er die Idee aus dem Netz in die echte Welt bringen will.
Ein Interview von Jennifer Fraczek

  1. Nutzungsrechte Einbetten von Fotos muss nicht verhindert werden
  2. Bundesnetzagentur UKW-Abschaltung abgewendet
  3. Drupalgeddon 2 115.000 Webseiten mit Drupallücken übernommen

Razer Huntsman im Test: Rattern mit Infrarot
Razer Huntsman im Test
Rattern mit Infrarot

Razers neue Gaming-Tastatur heißt Huntsman, eine klare Andeutung, für welchen Einsatzzweck sie sich eignen soll. Die neuen optomechanischen Switches reagieren schnell und leichtgängig - der Geräuschpegel dürfte für viele Nutzer aber gewöhnungsbedürftig sein.
Ein Test von Tobias Költzsch

  1. Huntsman Razer präsentiert Tastatur mit opto-mechanischen Switches
  2. Razer Abyssus Essential Symmetrische Gaming-Maus für Einsteiger
  3. Razer Nommo Chroma im Test Blinkt viel, klingt weniger

    •  /