Erasure Coding: Das Ende von Raid kommt durch Mathematik

In vielen Anwendungsszenarien sind Raid-Systeme mittlerweile nicht mehr die optimale Lösung. Zu langsam und starr sind sie. Abhilfe schaffen können mathematische Verfahren wie Erasure Coding. Noch existieren für beide Techniken Anwendungsgebiete. Am Ende wird Raid aber wohl verschwinden.

Eine Analyse von Oliver Nickel veröffentlicht am 9. Juli 2019, 12:05 Uhr

Erasure Coding skaliert mit vielen Laufwerken gut. (Bild: Heiko Raschke/Golem.de)

Wenn es um Datensicherheit und Redundanz geht, denken viele IT-affine Menschen direkt an Raid. Das Redundant Array of Independent Disks ist bereits seit langer Zeit ein Quasistandard für NAS-Systeme und File-Server. Raid 1, Raid 5 und Raid nutzen ein oder mehrere physische Laufwerke als Rückfallebene, sollte ein Gerät ausfallen. Das Problem: Fallen mehrere Platten gleichzeitig aus, können Daten schnell verloren gehen oder müssen zeitintensiv aus einem früheren Backup wiederhergestellt werden. Eine Alternative ist die Fehlerkorrektur durch Erasure Coding, die von einigen mittlerweile teils als Ablösung von Raid gesehen wird. Dabei ist das Verfahren genauso alt, wenn nicht sogar älter.

Variable Redundanz

Raid ist allerdings nicht obsolet: Solange sich ein Laufwerk aus nicht allzu vielen Festplatten oder SSDs zusammensetzt, sind Raid-Verbunde noch tragbar. Geht es um große Cluster, bei denen Laufwerke aus mehreren Dutzend Massenspeichern bestehen, wird die Ausfallwahrscheinlichkeit in vielen Fällen zu einem kritischen Faktor - schließlich ist es nicht unwahrscheinlich, dass in einem Cluster aus 100 Platten zwei oder mehr gleichzeitig ausfallen. Raid-Systeme kommen da schnell an ihre Grenzen. In besonders kritischen Anwendungen, etwa im Rechenzentrum, ist es daher üblich, eine oder meist sogar zwei volle Replikationen von Daten anzulegen. Das kostet Schreibleistung und viel Geld, das in zusätzliche Hardware investiert werden muss.

Erasure Coding skaliert in solchen Situationen besser. Bei diesem Verfahren werden Daten gekapselt auf verschiedenen, möglichst physisch voneinander getrennten Instanzen abgelegt. In die Datenkapseln wird eine gewünschte Anzahl an Paritäten ebenfalls gleichmäßig verteilt abgespeichert. Aus den Paritäten lassen sich wiederum beliebige beschädigte oder nicht lesbare Segmente eines Speicherclusters mathematisch rekonstruieren - eine häufig verwendete Methode dafür ist der Reed-Solomon-Algorithmus, der bereits im Jahr 1960 erfunden wurde und beispielsweise auch bei Raid 6 zum Einsatz kommt. Eine der ersten Anwendungen dieses Verfahrens war das Nasa-Raumfahrtprogramm Voyager im Jahr 1977.

Wie viele Speichermedien gleichzeitig ausfallen können, bestimmen die Betreiber eines Storage-Clusters selbst. Generell wird das Verhältnis der Datenmenge zum Paritätsüberhang mit der Gleichung n = k + m angegeben, wobei n die Gesamtzahl der Speichermedien ist, k die Anzahl der Datensegmente und m die Anzahl der Einheiten, die maximal ausfallen dürfen. Eine andere Schreibweise ist beispielsweise EC 10/15. Diese sagt aus, dass für zehn Datensymbole 15 Symbole geschrieben werden und fünf Teile ausfallen dürfen.

Das Verhältnis kann von Anwendung zu Anwendung unterschiedlich sein, je nach Belastung der Laufwerke. Der Backup-Anbieter Backblaze nutzt in seinen Rechenzentren beispielsweise eine Anordnung von 20 Einheiten, die sich in ein Verhältnis von 17 + 3 aufteilen. Einzelne Einheiten fasst das Unternehmen in einzelnen, physisch voneinander abgetrennten Servern zusammen. In ihrem Cluster mit 20 baugleichen Maschinen dürfen also maximal drei beliebige Server ausfallen. Die übrigen Speichersysteme können durch die verteilten Paritätsmatrizen die korrumpierten Daten wieder rekonstruieren. Zum Vergleich: Das als eines der sichersten Raid-Systeme geltende Raid 6 mit seiner doppelten Parität ermöglicht nur den Ausfall zweier Festplatten oder SSDs zur gleichen Zeit.

Hohe Datendichte führt zu langen Rekonstruktionszeiten

Ein Nachteil an Raid generell ist zudem, dass die Rekonstruktion von Daten gerade bei Laufwerken mit großer Kapazität lange dauern kann. Das ist für Anwendungen mit hohen Verfügbarkeitsanforderungen - etwa Cloud-Infrastrukturen - nicht optimal. Dass Festplatten aktuell 12 Terabyte und mehr an Daten speichern können, schlägt zusätzlich auf die Geschwindigkeit.

Gerade in großen Rechenzentrum hat die Verteilung von Daten auf mehrere physikalische Standorte zudem den großen Vorteil, besser skalierbar und sicherer zu sein. Mit Erasure Codes abgespeicherte Daten können sich theoretisch überall auf der Welt befinden, da sie in logischen Blöcken und nicht an Laufwerke gebunden abgespeichert werden.

Warum sind Raid-Systeme dann noch nicht komplett obsolet? Der Grund hängt wohl auch mit dem Argument zusammen, mit dem sich Raid schon Anfang der 90er Jahre durchgesetzt hat: Rechenleistung.