Hortonworks: Yahoo gliedert Hadoop-Abteilung aus
Die neue Firma Hortonworks soll das Apache Hadoop(öffnet im neuen Fenster) weiterentwickeln und Schulungen sowie Support dafür anbieten, um sich zu finanzieren. Die Ausgründung wird von Yahoo initiiert. CEO der Firma soll der bisherige Vizechef in der Engineering-Abteilung von Yahoo, Eric Baldeschwieler, werden. Er nimmt einen Teil der Kern-Entwickler von Yahoo mit. Bis Februar 2011 hatte Yahoo eine eigene Distribution mit Hadoop angeboten .
Baldeschwieler betont, dass Hadoop weiterhin als vollständige Open-Source-Software angeboten werden soll. Ein Open-Core-Modell, bei dem nur die Kernbereiche der Plattform quelloffen sind, lehnen er und der Investor Benchmark ab. Zunächst soll der Kundenstamm erweitert werden, später sollen Support und das Training ebenjener Kunden die Ausgründung finanzieren.
Komponenten von Google und Facebook
Mit dem Java-basierten Hadoop-Framework lässt sich Software auf mehreren verteilten Rechnern ausführen. Es setzt dabei ein eigenes Dateisystem HDFS (Hadoop Distributed File System) sowie zahlreiche weitere Komponenten wie Mapreduce von Google ein. Von Facebook stammt die integrierte SQL-ähnliche Datenbanksprache Hive. Die verwendete Datenbank Hbase enthält Komponenten aus Googles Big Table.
Hadoop kommt sowohl bei Yahoo als auch bei Twitter, eBay und Facebook zum Einsatz. Seit Januar 2006 ist Hadoop ein Apache-Projekt. Yahoo trägt etwa 70 Prozent des Codes bei.
Konkurrenz zu Cloudera
Hadoop-Gründer Doug Cutting gab dem Projekt den Namen des gelben Stoffelefanten seines Sohns. Er entwickelte das Projekt, nachdem Ende 2004 Google ein Dokument zum Mapreduce-Algorithmus veröffentlichte. Cutting ist gegenwärtig bei Cloudera angestellt, nachdem er 2009 Yahoo verlassen hatte. Cloudera bietet das Hadoop-Framework ebenfalls an, allerdings als Open-Core-Modell mit zusätzlichen proprietären Komponenten.
Der Name der Ausgründung Hortonworks kommt von dem Kinderbuch von Theodor Seuss Geisel alias Dr. Seuss mit dem Titel Horton hears a who! . Der Titel ist hierzulande unter dem Namen Horton hört ein Hu! bekannt, der 2008 in den Kinos lief(öffnet im neuen Fenster) .