Vectorwise

Ingres veröffentlicht seine Wunderdatenbanken

Ingres bietet seine neue Datenbank-Engine Ingres Vectorwise ab sofort zum Download an. Das zusammen mit der CWI-Ausgründung Vectorwise und Intel entwickelte Datenbanksystem soll große Datenmengen bis zu 70-mal schneller verarbeiten als herkömmliche Systeme.

Artikel veröffentlicht am 9. Juni 2010, 8:48 Uhr, Jens Ihlenfeld

Ingres Vectorwise nutzt die Möglichkeiten moderner Prozessoren wie SSE, Out of Order Execution, Chip-Multithreading und immer größer werdende L2- und L3-Caches, um die Analyse großer Datenmengen zu beschleunigen. Als Basis kommt die von Vectorwise entwickelte X100 Engine zum Einsatz.

Die eigentliche Datenverarbeitung nimmt Vectorwise im CPU-Cache statt im RAM vor. Die Daten werden sowohl auf der Platte als auch im Speicher komprimiert, um die notwendige Bandbreite so gering wie möglich zu halten. Nur direkt zur Datenverarbeitung werden die Daten in Vektoren in den CPU-Cache entpackt.

Gespeichert werden die Daten spaltenweise statt zeilenweise. So kann sichergestellt werden, dass Spalten, die bei einer Abfrage keine Rolle spielen, auch nicht angefordert werden müssen. Zudem lassen sich die spaltenweise gespeicherten Daten besser komprimieren. Je nach Datentyp kommen dabei andere Kompressionschemata zum Einsatz, die das System automatisch wählt. Storage-Indizes sollen dafür sorgen, dass nur auf Bereiche der Festplatte zugegriffen wird, in denen sich relevante Daten befinden.

Die Daten werden dabei nicht in einzelnen Tupeln durch die Verarbeitungspipeline geschleust, sondern in Form ganzer Vektoren. Dadurch sollen sich bis zu 100 Instruktionen gleichzeitig verarbeiten lassen.

Letztendlich sollen sich mit geringen Hardwareressourcen auch große Datenmengen analysieren lassen. Ein einzelner Server reiche aus, um mehrere Terabyte an Daten zu verarbeiten, so Ingres. Dabei wurde Vectorwise in die Infrastruktur der Ingres-Datenbank integriert, so dass bestehende Werkzeuge und Treiber verwendet werden können. Der Zugriff auf die Daten ist via ANSI SQL, ODBC und JDBC möglich.

Ingres Vectorwise steht ab sofort für Linux auf x86-64-Systemen unter ingres.com/vectorwise zum Download bereit, sowohl in einer Enterpriseversion als auch in Form einer kostenlosen Testversion.