Abo
  • Services:
Anzeige
Hortonworks Data Platform 2.1 ist als Preview verfügbar.
Hortonworks Data Platform 2.1 ist als Preview verfügbar. (Bild: Hortonworks/Screenshot: Golem.de)

HDP 2.1: Hortonworks erweitert Hadoop

Schnellere SQL-Abfragen mit Apache Hive, eine verbesserte Mapreduce-Abfrage mit Tez und eine lange geforderte Suche sind die Komponenten, mit denen Hortonworks Hadoop weiterhin als Vorreiter im Bereich Big Data behaupten will. Die Investition Intels in Cloudera schürt die Angst vor einer Fragmentierung.

Anzeige

Hortonworks hat seine Plattform (HDP) in Version 2.1 vorgestellt. Damit wurden integrale Bestandteile verbessert, etwa Apache Hive, die Schnittstelle zu SQL sowie Apache Tez, ein Framework für Datenverarbeitung mit Mapreduce. Auf mehrfachen Kundenwunsch wurde die Suche Solr in HDP integriert. Hortonworks hat außerdem in seinem auch Enterprise Hadoop genannten HDP das System zur Verarbeitung von Datenströmen namens Storm integriert. Die Konkurrenz der Hadoop-Anbieter wird derweil größer und es gibt Befürchtungen, die Entwicklung Hadoops und seiner Komponenten könnte fragmentieren.

Neben SAP, Facebook, Twitter oder eben Yahoo, dessen Hadoop-Entwickler das Unternehmen Hortonworks gründeten, ist auch Microsoft intensiv mit der Entwicklung von HDP 2.1 und vor allem an Hive in Version 0.13 involviert. Von dem Windows-Hersteller stammen nicht nur Anpassungen, damit Hadoop auch in Windows-Umgebungen läuft, sondern auch Hive-Codeteile, die etwa SQL-Abfragen effizienter durchführen können (Vectorized Query Execution).

Mehr SQL in HiveQL

Hives Abfragesprache HiveQL orientiert sich immer mehr an dem SQL-92-Standard. In der aktuellen Version 0.13 wurde beispielsweise die OVER-Klausel integriert. Ferner erlaubt WHERE jetzt Unterklauseln. Mit Tez enthält HDP auch eine weitere Schnittstelle für Mapreduce-Abfragen in den unter Hadoop gesammelten Rohdaten. Die aktuelle Version verringert Latenzzeiten, indem lediglich ein einziger Job pro Abfrage gestartet werden muss. Dennoch soll sich Tez auch für große Abfragen mit hohem Datendurchsatz eignen.

Um die umfangreichen Datenbestände zu verwalten, wurde das Apache-Projekt Falcon integriert. Damit lässt sich beispielsweise über dessen grafische Oberfläche bestimmen, wie lange Datenbestände vorgehalten werden oder die Replikation verwalten. Das Hadoop-Verwaltungswerkzeug Ambari wurde ebenfalls aktualisiert. Die Module Tez und Flacon lassen sich dort künftig ebenso installieren und konfigurieren wie Apache Strom. Über Ambari lassen sich beispielsweise Storm-Cluster verwalten und entsprechende Dienste starten oder stoppen.

Sicherheit erhöht

Für mehr Sicherheit soll Apache Knox sorgen, das jetzt in HDP 2.1 integriert wurde. Mit Knox sollen sich Authentifizierungen in Hadoop und sämtliche Komponenten vornehmen lassen. Dazu bringt Knox ein entsprechendes API mit. Große Teile des Codes stammen von Microsoft. Darüber hinaus erhält das Hadoop Distributed File System (HDFS) die Unterstützung für Zugriffssteuerungslisten (Access Control Lists) sowie Grant/Revoke-Funktionen für Hive. Hive erhält außerdem Unterstützung für PAM (Pluggable Authentication Modules).

Die Suchmaschine Apache Solr wurde ebenfalls in HDP integriert, samt einer Benutzeroberfläche. Außerdem will Hortonworks künftig mit Lucidworks kooperieren. Das Unternehmen bietet Support und Training für den Einsatz von Solr und Apache Lucene, das den Kern von Solr bildet.

Angst vor Fragmentierung

Die massive Investition von 900 Millionen US-Dollar Intels in Cloudera traf Hortonworks offenbar unvorbereitet. Dafür hat Intel die Eigenentwicklung an Hadoop und seinen Komponenten aufgegeben. Mehrfach war auf dem diesjährigen Hadoop Summit davon die Rede, dass sich die Entwicklung der unter der Schirmherrschaft von Apache stehenden Teile des Hadoop-Projekts oder sogar Hadoop selbst fragmentiert. Cloudera steuert einen großen Teil des Codes für Hadoop bei, bietet aber zahlreiche proprietäre Erweiterungen für das Framework an.

HDP 2.1 steht als Preview-Version zum Download bereit. Auch eine eigenständige virtuelle Maschine mit einem vorkonfigurierten HDP 2.1 samt Anleitungen gibt es. Die finale Version soll am 22. April 2014 veröffentlicht werden. HDP 2.1 bleibt weiterhin kostenlos. Hortonworks finanziert sich mit kostenpflichtigem Support und Training.


eye home zur Startseite
cafun4o 08. Mai 2014

Cloudera Manager is das einigste von Cloudera was nicht open source ist. Die andere tools...



Anzeige

Stellenmarkt
  1. ponturo consulting AG, Frankfurt am Main
  2. Schaeffler Technologies AG & Co. KG, Nürnberg
  3. Simovative GmbH, München
  4. Schwäbische Hüttenwerke Automotive GmbH, Aalen


Anzeige
Blu-ray-Angebote
  1. 49,00€ (zzgl. 4,99€ Versand oder versandkostenfrei bei Abholung im Markt)
  2. (u. a. Reign, Person of Interest, Gossip Girl, The Clone Wars)

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Leitfaden für den gezielten Einsatz von SAP HANA
  2. Wissens-Guide und Kaufberatung für Cloud-Sicherheit
  3. SAP HANA Integration von der Planung bis zum Hosting


  1. UEFI-Update

    Agesa 1004a lässt Ryzen-Boards schneller booten

  2. Sledgehammer Games

    Call of Duty WWII spielt wieder im Zweiten Weltkrieg

  3. Mobilfunk

    Patentverwerter klagt gegen Apple und Mobilfunkanbieter

  4. Privatsphäre

    Bildungsrechner spionieren Schüler aus

  5. Raumfahrt

    Chinesischer Raumfrachter Tanzhou 1 dockt an Raumstation an

  6. Die Woche im Video

    Kein Saft, kein Wumms, keine Argumente

  7. Windows 7 und 8

    Github-Nutzer schafft Freischaltung von neuen CPUs

  8. Whitelist umgehen

    Node-Server im Nvidia-Treiber ermöglicht Malware-Ausführung

  9. Easy S und Easy M

    Vodafone stellt günstige Einsteigertarife ohne LTE vor

  10. UP2718Q

    Dell verkauft HDR10-Monitor ab Mai 2017



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Quantenphysik: Im Kleinen spielt das Universum verrückt
Quantenphysik
Im Kleinen spielt das Universum verrückt
  1. Quantenmechanik Malen nach Zahlen für die weltbesten Mathematiker
  2. IBM Q Qubits as a Service
  3. Rechentechnik Ein Bauplan für einen Quantencomputer

Elektromobilität: Wie kommt der Strom in die Tiefgarage?
Elektromobilität
Wie kommt der Strom in die Tiefgarage?
  1. Elektroauto Volkswagen I.D. Crozz soll als Crossover autonom fahren
  2. Sportback Concept Audis zweiter E-tron ist ein Sportwagen
  3. Vision E Skoda will elektrisch überzeugen

Hate-Speech-Gesetz: Regierung kennt keine einzige strafbare Falschnachricht
Hate-Speech-Gesetz
Regierung kennt keine einzige strafbare Falschnachricht
  1. Neurowissenschaft Facebook erforscht Gedanken-Postings
  2. Rundumvideo Facebooks 360-Grad-Ballkamera nimmt Tiefeninformationen auf
  3. Spaces Facebook stellt Beta seiner Virtual-Reality-Welt vor

  1. Re: Warum gelten automatische Andockmanöver als...

    picaschaf | 23:45

  2. Re: ww2 ist langweilig

    Meisterqn | 23:42

  3. Re: 40k für einen Kleinwagen?

    thinksimple | 23:41

  4. Re: ASROCK AB350 Pro4

    ms (Golem.de) | 23:35

  5. MSI X370 GAMING PRO CARBON mit ewiger Boot-Zeit

    Mudder | 23:31


  1. 12:40

  2. 11:55

  3. 15:19

  4. 13:40

  5. 11:00

  6. 09:03

  7. 18:01

  8. 17:08


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel