Hadoop-Alternative

Lexisnexis gibt HPCC als Open Source frei

Der Datenspezialist Lexisnexis will High Performance Computing Cluster (HPCC) als Open Source freigeben und damit eine Alternative zu Apache Hadoop schaffen. HPCC soll Unternehmen helfen, Probleme mit großen Datenmengen zu lösen.

HPCC von Lexisnexis ist seit rund zehn Jahren bei Kunden im Einsatz und stellt eine High-Performance-Architektur für Rechencluster samt einer konsistenten datenzentrierten Programmiersprache zur Verfügung. Damit sei HPCC eine Alternative zu Apache Hadoop, erklärte Lexisnexis.

Lexisnexis will HPCC künftig unter einer dualen Lizenz als Open Source anbieten. Das System soll Milliarden von Datensätzen in wenigen Sekunden sortieren, verknüpfen und analysieren können. Es kommt heute bei großen Banken, Versicherungen und Verwaltungen zum Einsatz. Nach Angaben von Lexisnexis skaliert das System linear von 10 bis 1.000 Cluster-Nodes und ist in der Lage, mehrere Petabyte an Daten und Millionen von Transaktionen pro Sekunde zu verarbeiten.

Das System wird in HPCC Systems ausgegliedert und soll von Lexisnexis-Technikchef Armando Escalante geleitet werden. Zunächst bietet HPCC Systems nur eine virtuelle Maschine an, mit der Interessierte das System testen können. In einigen Wochen sollen vollständige Binarys und der Quelltext der Software freigegeben werden.

Dabei soll HPCC Systems zwei Versionen anbieten: eine Community Edition, die die freie Plattform samt Community-Support umfasst, sowie eine Enterprise Edition, die zusätzlichen Support enthält. Nutzer der Enterprise Edition sollen zudem die Möglichkeit haben, zusätzliche Module für die Software zu erwerben.

Kern des Systems ist die Enterprise Control Language (ECL), eine deklarative, datenzentrische Programmiersprache, die auf große Datenmengen optimiert ist. Datenanalysten und Entwickler müssen dabei nur angeben, was sie mit den Daten tun wollen, statt dem System eine Schritt-für-Schritt-Anleitung zu geben. Die Spezifikation von ECL will Lexisnexis unter eine Creative-Commons-Lizenz stellen, damit sie von anderen leicht implementiert werden kann.

Seine Datenquellen und Datenprodukte will Lexisnexis nicht freigeben.

Details zu HPCC finden sich unter hpccsystems.com.