Open Data Platform: Initiative gegen die Hadoop-Fragmentierung

Um die zunehmende Fragmentierung der Big-Data-Infrastruktur Hadoop zu verhindern, hat sich Hortonworks unter anderem mit IBM und Pivotal zur Open Data Platform zusammengetan. Die Hadoop-Kerne ihrer Big-Data-Lösungen sollen miteinander abgestimmt werden.

Artikel veröffentlicht am ,
Von Herstellern verwendete Hadoop-Kernkomponenten sollen mit der Open Data Plattform einheitlich bleiben.
Von Herstellern verwendete Hadoop-Kernkomponenten sollen mit der Open Data Plattform einheitlich bleiben. (Bild: Apache Foundation)

Der vor 60 Tagen gegründeten Open Data Platform (ODP) sind neben Gründer Hortonworks auch IBM und Pivotal beigetreten. Die in ihren Big-Data-Lösungen verwendete Kernkomponente Apache Hadoop soll konsolidiert und so eine Fragmentierung verhindert werden. Neben Hadoop soll auch die Verwaltungssoftware Ambari unter die Aufsicht der Organisation gestellt werden. Das gaben die Unternehmen auf dem Hadoop Summit Europe 2015 bekannt.

Stellenmarkt
  1. IT-Systemspezialist (m/w/d)
    BARMER, Wuppertal
  2. Ingenieur (m/w/d) OT-Datennetze
    Dortmunder Energie- und Wasserversorgung GmbH DEW21, Dortmund
Detailsuche

In dem ODP-Kern sind unter anderem das verteilte Dateisystem HDFS (Hadoop File System) sowie die Komponenten Yarn und Mapreduce enthalten. Zudem soll das Apache-Projekt Ambari künftig von der ODP betreut werden. Die Lenkungsstrukturen der ODP basieren auf dem Governance-Modell der Apache Foundation, unter deren Obhut die Entwicklung der Softwarekomponenten steht.

Vorteile für Kunden und Entwickler

Die Standardisierung der Kernkomponenten soll es einerseits Unternehmen einfacher machen, die Hadoop einsetzen wollen. Aktuell stünden diese vor der kompliziert zu beantwortenden Frage, welche Version von Hadoop sie verwenden sollten, sagte IBM-Vize Anjul Bhambhri. Auch die Weiterentwicklung der Big-Data-Lösung soll durch die Konsolidierung unter der Schirmherrschaft der ODP vereinheitlicht werden. Dadurch werde Hadoop zu einer standardisierten, berechenbaren und ausgereiften Lösung, sagte Pivotal-Vize Leo Spiegel.

Der Wunsch nach einer Konsolidierung komme sowohl von den Kunden als auch von Unternehmen, die selbst Lösungen für Hadoop entwickelten, sagte Tim Hall, Vize bei Hortonworks, Golem.de. Die Integration neuer Versionen der Kernkomponenten innerhalb einer erweiterten Hadoop-Infrastruktur, wie sie auch in Hortonworks Data Platform 2.2, IBM Open Platform 4.0 mit Apache Hadoop oder Pivotal HD 3.0 verwendet werden, sei so schneller umzusetzen. Auch der Zertifizierungsprozess könne dadurch deutlich abgekürzt werden. Kunden könnten sich darauf verlassen, dass sie Erweiterungen von verschiedenen Herstellern nutzen könnten, weil deren Funktionalität künftig mit den vereinheitlichten Kernkomponenten garantiert sei. Später sollten weitere Komponenten aus der Hadoop-Infrastruktur hinzukommen, sagte Hall.

Gute Wachstumsprognosen

Golem Akademie
  1. Python kompakt - Einführung für Softwareentwickler
    28.-29. Oktober 2021, online
  2. Terraform mit AWS
    14./15. September 2021, online
  3. Docker & Containers - From Zero to Hero
    5.-7. Oktober 2021, online
Weitere IT-Trainings

General Electric, Hortonworks, IBM, Infosys, Pivotal, SAS, Altiscale, Capgemini, Centurylink, EMC, PLDT, Splunk, Teradata, Verizon, VMware und Wandisco sind bereits Mitglieder in der Open Data Platform. Auffällig ist das Fehlen von Cloudera und MapR. Beide Unternehmen haben den Hadoop-Kern mit eigenen proprietären Komponenten angereichert und sehen Hortonworks OPD-Initiative deshalb mit Argwohn. Im Gegensatz zu vielen anderen Unternehmen gibt Hortonworks seine Entwicklungen zu Hadoop unter offenen Lizenzen frei und beschränkt sich auf Dienstleistungen zu der Big-Data-Plattform.

Inzwischen prognostizieren Analysten wie Forrester Big Data und auch Hadoop in den nächsten Jahren ein enormes Wachstum. Aktuell wird Hadoop zunehmend im Bereich Business Intelligence und als Datawarehouse eingesetzt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Clubhouse  
3,8 Milliarden Telefonnummern werden im Darknet verkauft

Die Telefonnummern und Kontakte aller Clubhouse-Konten werden wohl im Darknet angeboten. Nummern werden nach ihrer Wichtigkeit eingestuft.

Clubhouse: 3,8 Milliarden Telefonnummern werden im Darknet verkauft
Artikel
  1. RS Q E-Tron: Audi will mit Elektroantrieb Rallye Dakar gewinnen
    RS Q E-Tron
    Audi will mit Elektroantrieb Rallye Dakar gewinnen

    Der RS Q E-Tron im futuristischen Design und mit 670 PS an den E-Achsen soll für Audi die Rallye Dakar gewinnen.

  2. iPhone 12: Youtuber findet Akkukapazität von Apples Magsafe-Pack heraus
    iPhone 12
    Youtuber findet Akkukapazität von Apples Magsafe-Pack heraus

    Ein Youtuber nimmt das Apple Magsafe-Akkupack auseinander. Im Video gibt er einen Einblick in die Technik und die Akkuladung des Produktes.

  3. Elon Musk: Tesla Model S bekommt ausschließlich Knight-Rider-Lenkrad
    Elon Musk
    Tesla Model S bekommt ausschließlich Knight-Rider-Lenkrad

    Elon Musk hat klargestellt, dass es für das Model S und das Model X kein normales Lenkrad mehr geben wird. Das D-förmige Lenkrad ist Pflicht.


Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • 30% auf Amazon Warehouse • LG 55NANO867NA 573,10€ • Fractal Design Meshify C Mini 69,90€ • Amazon: PC-Spiele von EA im Angebot (u. a. FIFA 21 19,99€) • Viewsonic VG2719-2K (WQHD, 99% sRGB) 217,99€ • Alternate (u. a. Fractal Design Define S2 106,89€) • Roccat Horde Aimo 49€ [Werbung]
    •  /