Big Data: Pivotal verbindet Hadoop mit In-Memory-Datenbank
Kernstück der Neuankündigungen(öffnet im neuen Fenster) von Pivotal ist Pivotal HD 2.0, ein Update der kommerziellen Distribution von Apaches Hadoop, das jetzt auf Hadoop 2.2 aufsetzt. In Pivotal HD 2.0 sind Apaches Graphlab und MADlib integriert und es werden die Programmiersprachen R, Python, Java und Parquet unterstützt.
Verbessert wurde auch die HAWQ-SQL-on-Hadoop-Query-Engine, die auf EMCs Greenplum-Datenbank basiert. HAWQ verfügt jetzt über 50 In-Database-Algorithmen von der Maschinen-Lern-Bibliothek MADLib. "HAWQ stützt sich auf Greenplums zehnjährige Erfahrungen auf dem Gebiet von massiv-parallelen Verarbeitungen, es ist hundertprozentig SQL-kompatibel und es bietet eine extrem hohe Performance" , sagt Michael Cucchi, Pivotals Senior-Direktor für das Produktmarketing.
Neu ist ebenfalls Gemfire XD, eine In-Memory-Datenbank, die sich nahtlos mit Pivotal HD 2.0 integrieren lässt. Das ermöglicht parallele Zugriffe, Echtzeittransaktionen und In-Memory Analytics. Gemfire XD ist eine SQL-kompatible In-Memory-Datenbank, die oberhalb von Hadoops Distributed File System (HDFS) angesiedelt ist und extrem schnelle IO-Operationen ausführen kann.
Business Data Lake: die Konkurrenz zum Enterprise Data Hub
Die beiden Ankündigungen sind Teil von Pivotals umfassender Datenarchitektur Business Data Lake, die mit Clouderas Enterprise Data Hub konkurriert. Beide Architekturen bieten den Datenwissenschaftlern, Analysten und Entwicklern im Unternehmen einen flexiblen Zugriff auf alle Arten und Formen von Daten.
Pivotal unterhält hierzu eine Partnerschaft mit Cap Gemini, die darauf abzielt, neue Daten mit Legacy-Datenbeständen zu verbinden. Nach deren Vorstellungen lassen sich dann alle Arten von Daten mit demselben Satz an Analysewerkzeugen auswerten; gleichgültig ob die Daten strukturiert oder unstrukturiert, gespeichert sind oder gestreamt werden oder ob es sich um interne oder externe Daten handelt.
Wer mehr über diese neuen Pivotal-Produkte erfahren möchte, kann am 27. März an einem Webseminar teilnehmen. Die Registrierung ist hier möglich(öffnet im neuen Fenster) .