Abo
  • Services:
Anzeige

Yahoo veröffentlicht eigene Hadoop-Distribution

Ausgiebig getestete und erweiterte Hadoop-Version ausschließlich im Quelltext

Yahoo hat eine eigene Distribution von Apache Hadoop angekündigt. Die bei Yahoo intern eingesetzte Hadoop-Version stellt das Unternehmen Dritten im Quelltext zur Verfügung.

Apache Hadoop ist eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten.

Yahoo betreibt nach eigenen Angaben die größte Hadoop-Installation weltweit, verteilt auf mehr als 25.000 Server. Der Cluster analysiert die Daten aus mehreren Milliarden Suchanfragen monatlich und kommt auch bei Yahoo-Mail sowie für Yahoos Werbesystem zum Einsatz. Insgesamt werden täglich mehrere Petabyte an Daten verarbeitet.

Anzeige

Zwar setzt Yahoo dabei Apache Hadoop ein, testet die jeweils eingesetzten Versionen aber jeweils zwei Tage auf einem Testcluster mit 500 Servern und erweitert das System den eigenen Bedürfnissen entsprechend. Dabei entsteht eine ausgiebig getestete Version, die bei Yahoo im produktiven Einsatz ist und die nun auch Dritten zur Verfügung gestellt wird.

Die "Yahoo! Distribution of Hadoop" bietet Yahoo ausschließlich im Quelltext an. Die darin enthaltenen Patches werden zudem komplett dem Hadoop-Projekt zur Verfügung gestellt. Support gibt es von Yahoo nicht, das Unternehmen betont aber ausdrücklich, die Distribution könne auch als Basis für Unternehmen dienen, die kommerzielle Dienste anbieten wollen.


eye home zur Startseite
beaver 08. Nov 2009

Wir testen gerade unser Suchmaschinen Projekt auf einen Hadoop Cluster http://www.search2.net



Anzeige

Stellenmarkt
  1. operational services GmbH & Co. KG, München/Ottobrunn
  2. SICK AG, Waldkirch-Buchholz
  3. Omnicare Pharma GmbH, Siegburg bei Bonn
  4. BG-Phoenics GmbH, Hannover


Anzeige
Hardware-Angebote
  1. 59,90€

Folgen Sie uns
       


  1. Private Division

    Rockstar-Games-Firma gründet Ableger für AAA-Indiegames

  2. Klage erfolgreich

    BND darf deutsche Metadaten nicht beliebig sammeln

  3. Neuer Bericht

    US-Behörden sollen kommerzielle Cloud-Dienste nutzen

  4. Übernahme

    Walt Disney kauft Teile von 21st Century Fox

  5. Deep Learning

    Googles Cloud-TPU-Cluster nutzen 4 TByte HBM-Speicher

  6. Leistungsschutzrecht

    EU-Staaten uneins bei Urheberrechtsreform

  7. E-Ticket Deutschland bei der BVG

    Bewegungspunkt am Straßenstrich

  8. Star Wars

    The-Last-Jedi-Update für Battlefront 2 veröffentlicht

  9. Airport mit 802.11n und neuere

    Apple sichert seine WLAN-Router gegen Krack-Angriff ab

  10. Bell UH-1

    Aurora Flight Sciences macht einen Hubschrauber zur Drohne



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Amazon Video auf Apple TV im Hands on: Genau das fehlt auf dem Fire TV
Amazon Video auf Apple TV im Hands on
Genau das fehlt auf dem Fire TV
  1. Amazon Verkaufsbann für Apple TV bleibt bestehen
  2. Smartphone-Speicherkapazität Wie groß der Speicher eines iPhones sein sollte
  3. Mate 10 Pro im Test Starkes Smartphone mit noch unauffälliger KI

Twitch, Youtube Gaming und Mixer: Weltweites Aufmerksamkeitsdefizit
Twitch, Youtube Gaming und Mixer
Weltweites Aufmerksamkeitsdefizit
  1. Kiyo und Seiren X Razer bringt Ringlicht-Webcam für Streamer
  2. Roboter Megabots kündigt Video vom Roboterkampf an
  3. Free to Play World of Tanks bringt pro Nutzer und Monat 3,30 Dollar ein

Umrüstung: Wie der Elektromotor in den Diesel-Lkw kommt
Umrüstung
Wie der Elektromotor in den Diesel-Lkw kommt
  1. LEVC London bekommt Elektrotaxis mit Range Extender
  2. Vehicle-to-Grid Honda macht Elektroautos zu Stromnetz-Puffern
  3. National Electric Vehicle Sweden Der Saab 9-3 ist zurück als Elektroauto

  1. Hierfür braucht Disney mehr eigene Inhalte, die...

    plutoniumsulfat | 23:52

  2. Re: Was bedeutet mittlerweile Indie-Game?

    HorkheimerAnders | 23:50

  3. Re: Via Viagem

    Cok3.Zer0 | 23:48

  4. Re: Bei voller Leistung reicht das Netzteil nicht...

    ikso | 23:35

  5. Re: Ich lach mich kaputt

    nachgefragt | 23:28


  1. 16:10

  2. 15:30

  3. 15:19

  4. 14:50

  5. 14:44

  6. 14:43

  7. 14:05

  8. 12:55


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel