MariaDB: Business Intelligence mit Connect
Olivier Bertrand entwickelt seit mehr als 50 Jahren Datenbanken und hat bei IBM lange Zeit zu diesem Thema geforscht. Seine Erfahrungen im Bereich Business Intelligence hat er jetzt in die Entwicklung einer neuen Storage Engine für MariaDB eingebracht.
Die Connect genannte Storage Engine steht unter der GPL und ist ab sofort in der neuen Alphaversion MariaDB 10.0.2 enthalten. Sie kann Daten aus unterschiedlichen Quellen in einer Tabelle zusammenführen und stellt diese über MariaDB per SQL zur Verfügung, ohne dass die Daten dazu vorher physisch in die Datenbank kopiert werden müssen.
Die Connect Storage Engine kann Daten aus verschiedenen Dateiformaten verarbeiten, darunter die Formate DBase, CSV, DOS, FMT (Foxpro) und XML. Aber auch Daten anderer MySQL-Server und anderer Quellen, die per ODBC zugänglich sind, kann Connect nutzen. Dabei lassen sich auch Tabellen erzeugen, die nur aus einer Liste von Tabellen bestehen, ähnlich wie es die Storage Engine Merge tut. Auch Connect-Tabellen können auf diese Weise in andere Connect-Tabellen integriert werden, so dass Tabellen erzeugt werden können, deren Daten auf verschiedenen Servern verstreut liegen.
Connect stellt zudem Tabellen vom Typ VEC (Vector)(öffnet im neuen Fenster) zur Verfügung, bei dem die Daten spaltenbasiert gespeichert werden. Bezieht sich eine Abfrage nur auf wenige Spalten, müssen auch nur diese gelesen werden. Das ist vor allem für Tabellen mit vielen Spalten gedacht, von denen eher wenige abgefragt werden.
Das jeweilige Datenformat erkennt Connect automatisch anhand der Metadaten einer Datei. Zudem erzeugt Connect Indizes für die Daten, um den Zugriff auf die Daten zu beschleunigen. Und Connect kann auch mit komprimierten Daten umgehen.
Gedacht ist Connect für den Einsatz im Bereich Business Intelligence (BI), wo Daten aus verschiedenen Quellen zusammengeführt und analysiert werden. Für Online Transaction Processing (OLTP) ist Connect nicht geeignet. Connect kann mit MariaDB 10.0.2 Alpha ab sofort ausprobiert werden. Die Software steht unter mariadb.org(öffnet im neuen Fenster) zum Download bereit. Wie Connect genutzt werden kann, ist in der Knowledgebase AskMonty erklärt(öffnet im neuen Fenster) .