Abo
  • Services:
Anzeige

Yahoo veröffentlicht eigene Hadoop-Distribution

Ausgiebig getestete und erweiterte Hadoop-Version ausschließlich im Quelltext

Yahoo hat eine eigene Distribution von Apache Hadoop angekündigt. Die bei Yahoo intern eingesetzte Hadoop-Version stellt das Unternehmen Dritten im Quelltext zur Verfügung.

Apache Hadoop ist eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten.

Yahoo betreibt nach eigenen Angaben die größte Hadoop-Installation weltweit, verteilt auf mehr als 25.000 Server. Der Cluster analysiert die Daten aus mehreren Milliarden Suchanfragen monatlich und kommt auch bei Yahoo-Mail sowie für Yahoos Werbesystem zum Einsatz. Insgesamt werden täglich mehrere Petabyte an Daten verarbeitet.

Anzeige

Zwar setzt Yahoo dabei Apache Hadoop ein, testet die jeweils eingesetzten Versionen aber jeweils zwei Tage auf einem Testcluster mit 500 Servern und erweitert das System den eigenen Bedürfnissen entsprechend. Dabei entsteht eine ausgiebig getestete Version, die bei Yahoo im produktiven Einsatz ist und die nun auch Dritten zur Verfügung gestellt wird.

Die "Yahoo! Distribution of Hadoop" bietet Yahoo ausschließlich im Quelltext an. Die darin enthaltenen Patches werden zudem komplett dem Hadoop-Projekt zur Verfügung gestellt. Support gibt es von Yahoo nicht, das Unternehmen betont aber ausdrücklich, die Distribution könne auch als Basis für Unternehmen dienen, die kommerzielle Dienste anbieten wollen.


eye home zur Startseite
beaver 08. Nov 2009

Wir testen gerade unser Suchmaschinen Projekt auf einen Hadoop Cluster http://www.search2.net



Anzeige

Stellenmarkt
  1. Music & Sales GmbH, St. Wendel
  2. BASF Business Services GmbH, Ludwigshafen
  3. ACP IT Solutions AG, Hamburg
  4. Prym Consumer Europe GmbH, Stolberg


Anzeige
Blu-ray-Angebote
  1. 299,99€ (Vorbesteller-Preisgarantie)
  2. (u. a. Hobbit Trilogie Blu-ray 43,89€ und Batman Dark Knight Trilogy Blu-ray 17,99€)
  3. (u. a. Resident Evil: Vendetta 14,99€, John Wick: Kapitel 2 9,99€, Fight Club 8,29€ und...

Folgen Sie uns
       


  1. Neue WLAN-Treiber

    Intel muss WLAN und AMT-Management gegen Krack patchen

  2. Kabel-Radio

    Sachsen will auch schnelle UKW-Abschaltung im Kabel

  3. To Be Honest

    Facebook kauft Wahrheits-App

  4. Lüfter

    Noctua kann auch in Schwarz

  5. Microsoft

    Supreme Court entscheidet über die Zukunft der Cloud

  6. Windows 10

    Microsoft zeigt Fluent Design im Detailvideo

  7. Bungie

    Letzte Infos vor dem Start der PC-Fassung von Destiny 2

  8. Ubiquiti Amplifi und Unifi

    Erster Consumer-WLAN-Router wird gegen Krack gepatcht

  9. Samyang

    Lichtstarkes Weitwinkelobjektiv für Sonys FE-Kameras

  10. USB-C

    DxO zeigt Ansteckkamera für Android-Smartphones



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Mittelerde Schatten des Krieges im Test: Ein Spiel, sie ewig zu binden
Mittelerde Schatten des Krieges im Test
Ein Spiel, sie ewig zu binden
  1. Jugendschutz Lootboxen gelten bisher nicht als Glücksspiel
  2. Schatten des Krieges Gold in Mittelerde kostet ab 5 Euro
  3. Schatten des Krieges Mikrotransaktionen in Mittelerde

Blade Runner 2049: Ein gelungenes Update für die Zukunft
Blade Runner 2049
Ein gelungenes Update für die Zukunft

Programmiersprache für Android: Kotlin ist auch nur eine Insel
Programmiersprache für Android
Kotlin ist auch nur eine Insel
  1. Programmiersprache Fetlang liest sich "wie schlechte Erotikliteratur"
  2. CMS Drupal 8.4 stabilisiert Module
  3. Vespa Yahoos Big-Data-Engine wird Open-Source-Projekt

  1. Re: Probleme sehe ich nicht bei Win, Mac...

    mgra | 11:45

  2. Re: AVM haelt sich bedeckt?

    bombinho | 11:45

  3. Re: Im Vergleich zum Fernsehen

    most | 11:44

  4. Re: Letzte infos vor dem Start von mir

    III | 11:43

  5. Re: Die sollen lieber Flüchtlinge aufnehmen

    GourmetZocker | 11:42


  1. 11:54

  2. 11:50

  3. 11:41

  4. 11:10

  5. 10:42

  6. 10:39

  7. 10:26

  8. 10:08


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel