Bigdata Alpha von Apache Hadoop 2.0 veröffentlicht

Arun Murthy, Release-Manager für Apache Hadoop 2.0, hat eine erste Alphaversion der kommenden Hadoop-Generation veröffentlicht, die unter anderem Hochverfügbarkeit für HDFS bietet und den Mapreduce-Nachfolger Yarn unterstützt.

Das Label "Alpha" sagt es ganz deutlich: Hadoop 2.0 ist noch nicht reif für den produktiven Einsatz, die Vorabversion bietet aber einen Ausblick auf die kommende Hadoop-Generation. Nicht alle für Hadoop 2.0 geplanten Funktionen sind bereits in der ersten Alpha enthalten.

Zu den größten Neuerungen der Hadoop-2.0-Alpha zählt die Hochverfügbarkeit für das verteilte Dateisystem HDFS, das bedeutet, beim Ausfall einzelner Nodes können andere automatisch einspringen.

Yarn alias Mapreduce 2.0

Hinzu kommt die Unterstützung von Yarn alias Mapreduce 2.0: Yarn trennt Jobtracker, Ressourcenverwaltung sowie Job-Scheduling und -Monitoring in verschiedene Deamons. So stehen ein globaler Resourcemanager (RM) und ein applikationsspezifischer Applicationmaster (AM) zur Verfügung, wobei eine Applikation ein herkömmlicher Mapreduce-Job oder eine komplexe Zusammenstellung sein kann. So soll der Einsatzbereich von Hadoop erweitert werden.

HDFS Federation

Mit HDFS Federation wird die Architektur des verteilten Dateisystems HDFS überarbeitet, um Namespace und Storage voneinander zu trennen. So wird es möglich, mehrere Namensräume in einem Cluster zu verwenden, was Skalierbarkeit und Isolation verbessern soll.

Yarn und HDFS Federated zusammen mit weiteren Detailverbessrungen sollen die Geschwindigkeit von Hadoop deutlich steigern. Zudem sind zahlreiche weitere Neuerungen in Arbeit, darunter HDFS Snapshots und Auto-Failover für HA-Namenodes.

Apache Hadoop 2.0 steht unter hadoop.apache.org zum Download bereit.