Abo
  • Services:
Anzeige

Yahoo veröffentlicht eigene Hadoop-Distribution

Ausgiebig getestete und erweiterte Hadoop-Version ausschließlich im Quelltext

Yahoo hat eine eigene Distribution von Apache Hadoop angekündigt. Die bei Yahoo intern eingesetzte Hadoop-Version stellt das Unternehmen Dritten im Quelltext zur Verfügung.

Apache Hadoop ist eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten.

Yahoo betreibt nach eigenen Angaben die größte Hadoop-Installation weltweit, verteilt auf mehr als 25.000 Server. Der Cluster analysiert die Daten aus mehreren Milliarden Suchanfragen monatlich und kommt auch bei Yahoo-Mail sowie für Yahoos Werbesystem zum Einsatz. Insgesamt werden täglich mehrere Petabyte an Daten verarbeitet.

Anzeige

Zwar setzt Yahoo dabei Apache Hadoop ein, testet die jeweils eingesetzten Versionen aber jeweils zwei Tage auf einem Testcluster mit 500 Servern und erweitert das System den eigenen Bedürfnissen entsprechend. Dabei entsteht eine ausgiebig getestete Version, die bei Yahoo im produktiven Einsatz ist und die nun auch Dritten zur Verfügung gestellt wird.

Die "Yahoo! Distribution of Hadoop" bietet Yahoo ausschließlich im Quelltext an. Die darin enthaltenen Patches werden zudem komplett dem Hadoop-Projekt zur Verfügung gestellt. Support gibt es von Yahoo nicht, das Unternehmen betont aber ausdrücklich, die Distribution könne auch als Basis für Unternehmen dienen, die kommerzielle Dienste anbieten wollen.


eye home zur Startseite
beaver 08. Nov 2009

Wir testen gerade unser Suchmaschinen Projekt auf einen Hadoop Cluster http://www.search2.net



Anzeige

Stellenmarkt
  1. DPD Deutschland GmbH, Aschaffenburg
  2. Robert Bosch GmbH, Stuttgart
  3. VSA GmbH, München
  4. Birkenstock GmbH & Co. KG Services, Neustadt (Wied)


Anzeige
Blu-ray-Angebote
  1. Einzelne Folge für 2,99€ oder ganze Staffel für 19,99€ kaufen (Amazon Video)
  2. für 1€ über Sky Ticket (via App auch auf Smartphone/Tablet, Apple TV, PS3, PS4, Xbox One...

Folgen Sie uns
       


  1. Filmfriend

    Kostenloses Videostreaming für Bibliothekskunden

  2. EMotion

    Fisker-Elektroauto soll in 9 Minuten Strom für 200 km laden

  3. Electronic Arts

    Hunde, Katzen und Weltraumschlachten

  4. Microsoft

    Age of Empires 4 angekündigt

  5. Google

    Android 8.0 heißt Oreo

  6. KI

    Musk und andere fordern Verbot von autonomen Kampfrobotern

  7. Playerunknown's Battlegrounds

    Bluehole über Camper, das Wetter und die schussfeste Pfanne

  8. Vega 64 Strix ausprobiert

    Asus' Radeon macht fast alles besser

  9. Online-Tracking

    Händler können Bitcoin-Anonymität zerstören

  10. ANS-Coding

    Google will Patent auf freies Kodierverfahren



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Starcraft Remastered im Test: Klick, klick, klick, klick, klick als wär es 1998
Starcraft Remastered im Test
Klick, klick, klick, klick, klick als wär es 1998
  1. Blizzard Der Name Battle.net bleibt
  2. Starcraft Remastered "Mit den Protoss kann man seinen Gegner richtig nerven!"
  3. E-Sport Blizzard nutzt Gamescom für europäische WoW-Finalspiele

Fujitsu Lifebook U937 im Test: 976 Gramm reichen für das fast perfekte Notebook
Fujitsu Lifebook U937 im Test
976 Gramm reichen für das fast perfekte Notebook
  1. DLU Fujitsu entwickelt Deep-Learning-Chips
  2. Celsius-Workstations Fujitsu bringt sichere Notebooks und kabellose Desktops

Game of Thrones: Die Kunst, Fiktion mit Wirklichkeit zu verschmelzen
Game of Thrones
Die Kunst, Fiktion mit Wirklichkeit zu verschmelzen
  1. HBO Nächste Episode von Game of Thrones geleakt
  2. Hack Game-of-Thrones-Skript von HBO geleakt
  3. Game of Thrones "Der Winter ist da und hat leider unsere Server eingefroren"

  1. Stand vom neuen Codec?

    ikhaya | 09:00

  2. Re: und auf dem Rückflug braucht man keinen Computer?

    CheeponMeth | 08:59

  3. 3rd Person wie in SCUM

    Bufanda | 08:59

  4. Re: Bitcoin ist von Haus aus nicht anonym....

    Reudiga | 08:58

  5. Re: Nutzlos

    Mastercontrol | 08:58


  1. 09:02

  2. 07:49

  3. 07:23

  4. 07:06

  5. 20:53

  6. 18:40

  7. 18:25

  8. 17:52


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel