Yahoo veröffentlicht eigene Hadoop-Distribution

Ausgiebig getestete und erweiterte Hadoop-Version ausschließlich im Quelltext

Yahoo hat eine eigene Distribution von Apache Hadoop angekündigt. Die bei Yahoo intern eingesetzte Hadoop-Version stellt das Unternehmen Dritten im Quelltext zur Verfügung.

Artikel veröffentlicht am ,

Apache Hadoop ist eine freie Implementierung von Googles MapReduce, eine Art verteiltes Dateisystem, das es erlaubt, Rechenaufgaben möglichst nah an den jeweiligen Daten abzuwickeln. So lassen sich beispielsweise die bei Internetsuchmaschinen anfallenden Daten auf einem verteilten Cluster auswerten.

Stellenmarkt
  1. Koordinator IT Security (m/w/d)
    mobilcom-debitel GmbH, Büdelsdorf
  2. Softwareentwickler (m/w/d) Automatisierungstechnik
    Dürr Systems AG, Goldkronach
Detailsuche

Yahoo betreibt nach eigenen Angaben die größte Hadoop-Installation weltweit, verteilt auf mehr als 25.000 Server. Der Cluster analysiert die Daten aus mehreren Milliarden Suchanfragen monatlich und kommt auch bei Yahoo-Mail sowie für Yahoos Werbesystem zum Einsatz. Insgesamt werden täglich mehrere Petabyte an Daten verarbeitet.

Zwar setzt Yahoo dabei Apache Hadoop ein, testet die jeweils eingesetzten Versionen aber jeweils zwei Tage auf einem Testcluster mit 500 Servern und erweitert das System den eigenen Bedürfnissen entsprechend. Dabei entsteht eine ausgiebig getestete Version, die bei Yahoo im produktiven Einsatz ist und die nun auch Dritten zur Verfügung gestellt wird.

Die "Yahoo! Distribution of Hadoop" bietet Yahoo ausschließlich im Quelltext an. Die darin enthaltenen Patches werden zudem komplett dem Hadoop-Projekt zur Verfügung gestellt. Support gibt es von Yahoo nicht, das Unternehmen betont aber ausdrücklich, die Distribution könne auch als Basis für Unternehmen dienen, die kommerzielle Dienste anbieten wollen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Bundesservice Telekommunikation
Ist eine scheinexistente Behörde für Wikipedia relevant?

Die IT-Sicherheitsexpertin Lilith Wittmann hat eine dubiose Bundesbehörde ohne Budget entdeckt. Reicht das für einen Wikipedia-Artikel?

Bundesservice Telekommunikation: Ist eine scheinexistente Behörde für Wikipedia relevant?
Artikel
  1. Neues Geschäftsmodell: Luca-App plant flexible Abos und will Preise senken
    Neues Geschäftsmodell
    Luca-App plant flexible Abos und will Preise senken

    Angesichts drohender Kündigungen will die Luca-App den Bundesländern entgegenkommen.

  2. Einstieg in Python und Data Science
     
    Einstieg in Python und Data Science

    Mit zwei Workshops der Golem Akademie gelingen kompakter Einstieg oder fortgeschrittenes Eintauchen in Python - das auch im Data-Science-Kurs zentral ist.
    Sponsored Post von Golem Akademie

  3. Elektroauto: VW e-Up ab Mitte Februar wieder bestellbar
    Elektroauto
    VW e-Up ab Mitte Februar wieder bestellbar

    Der e-Up gehörte 2021 zu den meistgekauften Elektroautos. Nun will VW den Kleinwagen wieder verfügbar machen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Bosch Professional zu Bestpreisen • WSV bei MediaMarkt • Asus Vivobook Flip 14" 8GB 512GB SSD 567€ • Philips OLED 65" Ambilight 1.699€ • RX 6900 16GB 1.489€ • Samsung QLED-TVs günstiger • Asus Gaming-Notebook 17“ R9 RTX3060 1.599€ • Seagate 20TB SATA HDD [Werbung]
    •  /