Original-URL des Artikels: https://www.golem.de/0903/65942.html    Veröffentlicht: 17.03.2009 09:05    Kurz-URL: https://glm.io/65942

Cloudera veröffentlicht Hadoop-Distribution

RPM-basierte Distribution mit webbasiertem Konfigurationsassistenten

Die Installation und Konfiguration von Hadoop ist nicht ganz einfach. Um das zu ändern, bietet Cloudera seine Hadoop-Distribution ab sofort frei zum Download an. Das Apache-Projekt dient zur Verarbeitung großer Datenmengen auf verteilten Systemen und ist an Googles Map/Reduce-Engine angelehnt.

Hadoop ist ein Java-Framework, das die Funktionen von Googles MapReduce und dem Google File System nachbildet, um große Mengen von Daten zu bearbeiten. Dafür besteht Hadoop aus dem Hadoop Distributed File System und einer Map/Reduce-Engine, die die Daten auf die einzelnen Knoten eines Clusters verteilt und Rechenaufgaben möglichst nah an den jeweiligen Daten abwickelt. So lassen sich sehr große Datenmengen, wie sie beispielsweise bei Internetsuchmaschinen anfallen, auf einem verteilten Cluster auswerten. Eingesetzt wird Hadoop unter anderem von Yahoo.

Cloudera bietet kostenpflichtige Dienstleistungen rund um Hadoop an. Um die Verbreitung von Hadoop zu fördern, bietet das Unternehmen jetzt seine Hadoop-Distribution ab sofort zum freien Download an. Der Einsatz von Hadoop in Unternehmen soll dadurch vereinfacht werden.

Clouderas Hadoop-Distribution nutzt RPM zur Softwareverwaltung und liefert auch kompatible Versionen von Hive, ein Data Warehouse auf Basis von Hadoop, sowie Pig, eine von Yahoo-Research entwickelte parallele Programmiersprache, mit.

Ein webbasierter Konfigurationsassistent soll beim Finden der optimalen Hadoop-Parameter für den jeweiligen Einsatzzweck helfen.

Über ein öffentliches YUM-Repository stellt Cloudera zudem Pakete mit der aktuellen stabilen Version von Hadoop bereit. Die aktuelle Version der Distribution basiert auf Hadoop 0.18.3, wobei die mitgelieferten Hadoop-Pakete um zusätzlich stabile Funktionen künftiger Hadoop-Ausgaben sowie noch experimentelle Funktionen ergänzt wurde. Die von Cloudera dazu entwickelten Teile stehen alle unter der Apache License 2.0.

Clouderas Hadoop-Distribution steht unter cloudera.com/hadoop zum Download bereit.  (ji)


Verwandte Artikel:
Hadoop-Cluster als Live-CD   
(05.09.2008, https://glm.io/62234 )
Testzentren für Cloud-Computing   
(30.07.2008, https://glm.io/61396 )
Yahoo nimmt größten Hadoop-Cluster in Betrieb   
(20.02.2008, https://glm.io/57820 )
M45 - Hadoop-Installation mit 4.000 Prozessoren für Forscher   
(13.11.2007, https://glm.io/55967 )

Links zum Artikel:
Apache Hadoop (.org): http://hadoop.apache.org/
Cloudera - Hadoop (.com): http://www.cloudera.com/hadoop
Cloudera (.com): http://www.cloudera.com/

© 1997–2019 Golem.de, https://www.golem.de/