• IT-Karriere:
  • Services:

Bigdata: Alpha von Apache Hadoop 2.0 veröffentlicht

Arun Murthy, Release-Manager für Apache Hadoop 2.0, hat eine erste Alphaversion der kommenden Hadoop-Generation veröffentlicht, die unter anderem Hochverfügbarkeit für HDFS bietet und den Mapreduce-Nachfolger Yarn unterstützt.

Artikel veröffentlicht am ,
Hadoop 2.0 bringt große Neuerungen.
Hadoop 2.0 bringt große Neuerungen. (Bild: Apache Hadoop)

Das Label "Alpha" sagt es ganz deutlich: Hadoop 2.0 ist noch nicht reif für den produktiven Einsatz, die Vorabversion bietet aber einen Ausblick auf die kommende Hadoop-Generation. Nicht alle für Hadoop 2.0 geplanten Funktionen sind bereits in der ersten Alpha enthalten.

Stellenmarkt
  1. über duerenhoff GmbH, Stuttgart
  2. über duerenhoff GmbH, Bielefeld

Zu den größten Neuerungen der Hadoop-2.0-Alpha zählt die Hochverfügbarkeit für das verteilte Dateisystem HDFS, das bedeutet, beim Ausfall einzelner Nodes können andere automatisch einspringen.

Yarn alias Mapreduce 2.0

Hinzu kommt die Unterstützung von Yarn alias Mapreduce 2.0: Yarn trennt Jobtracker, Ressourcenverwaltung sowie Job-Scheduling und -Monitoring in verschiedene Deamons. So stehen ein globaler Resourcemanager (RM) und ein applikationsspezifischer Applicationmaster (AM) zur Verfügung, wobei eine Applikation ein herkömmlicher Mapreduce-Job oder eine komplexe Zusammenstellung sein kann. So soll der Einsatzbereich von Hadoop erweitert werden.

HDFS Federation

Mit HDFS Federation wird die Architektur des verteilten Dateisystems HDFS überarbeitet, um Namespace und Storage voneinander zu trennen. So wird es möglich, mehrere Namensräume in einem Cluster zu verwenden, was Skalierbarkeit und Isolation verbessern soll.

Golem Akademie
  1. Data Engineering mit Apache Spark
    27.-28. September 2021, online
  2. Terraform mit AWS
    14./15. September 2021, online
Weitere IT-Trainings

Yarn und HDFS Federated zusammen mit weiteren Detailverbessrungen sollen die Geschwindigkeit von Hadoop deutlich steigern. Zudem sind zahlreiche weitere Neuerungen in Arbeit, darunter HDFS Snapshots und Auto-Failover für HA-Namenodes.

Apache Hadoop 2.0 steht unter hadoop.apache.org zum Download bereit.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. ab 69,99€ (Release 18.06.)
  2. (u. a. Deponia Doomsday für 1,99€, Deponia: The Complete Journey für 2,50€, Pathologic...
  3. 6,99€
  4. (u. a. Yu-Gi-Oh! Legacy of the Duelist für 7,20€, Yu-Gi-Oh! Legacy of the Duelist: Link...

Folgen Sie uns
       


Programm für IT-Jobeinstieg: Hoffen auf den Klebeeffekt
Programm für IT-Jobeinstieg
Hoffen auf den Klebeeffekt

Aktuell ist der Jobeinstieg für junge Ingenieure und Informatiker schwer. Um ihnen zu helfen, hat das Land Baden-Württemberg eine interessante Idee: Es macht sich selbst zur Zeitarbeitsfirma.
Ein Bericht von Peter Ilg

  1. Arbeitszeit Das Sechs-Stunden-Experiment bei Sipgate
  2. Neuorientierung im IT-Job Endlich mal machen!
  3. IT-Unternehmen Die richtige Software für ein Projekt finden

Weclapp-CTO Ertan Özdil: Wir dürfen nicht in Schönheit und Perfektion untergehen!
Weclapp-CTO Ertan Özdil
"Wir dürfen nicht in Schönheit und Perfektion untergehen!"

Der CTO von Weclapp träumt von smarter Software, die menschliches Eingreifen in der nächsten ERP-Generation reduziert. Deutschen Perfektionismus hält Ertan Özdil aber für gefährlich.
Ein Interview von Maja Hoock


    Fiat 500 als E-Auto im Test: Kleinstwagen mit großem Potenzial
    Fiat 500 als E-Auto im Test
    Kleinstwagen mit großem Potenzial

    Fiat hat einen neuen 500er entwickelt. Der Kleine fährt elektrisch - und zwar richtig gut.
    Ein Test von Peter Ilg

    1. Vierradlenkung Elektrischer GMC Hummer SUV fährt im Krabbengang seitwärts
    2. MG Cyberster MG B Roadster mit Lasergürtel und Union Jack
    3. Elektroauto E-Auto-Prämie übersteigt in 2021 schon Vorjahressumme

      •  /