Abo
  • IT-Karriere:

Erasure Coding: Das Ende von Raid kommt durch Mathematik

In vielen Anwendungsszenarien sind Raid-Systeme mittlerweile nicht mehr die optimale Lösung. Zu langsam und starr sind sie. Abhilfe schaffen können mathematische Verfahren wie Erasure Coding. Noch existieren für beide Techniken Anwendungsgebiete. Am Ende wird Raid aber wohl verschwinden.

Eine Analyse von veröffentlicht am
Erasure Coding skaliert mit vielen Laufwerken gut.
Erasure Coding skaliert mit vielen Laufwerken gut. (Bild: Heiko Raschke/Golem.de)

Wenn es um Datensicherheit und Redundanz geht, denken viele IT-affine Menschen direkt an Raid. Das Redundant Array of Independent Disks ist bereits seit langer Zeit ein Quasistandard für NAS-Systeme und File-Server. Raid 1, Raid 5 und Raid nutzen ein oder mehrere physische Laufwerke als Rückfallebene, sollte ein Gerät ausfallen. Das Problem: Fallen mehrere Platten gleichzeitig aus, können Daten schnell verloren gehen oder müssen zeitintensiv aus einem früheren Backup wiederhergestellt werden. Eine Alternative ist die Fehlerkorrektur durch Erasure Coding, die von einigen mittlerweile teils als Ablösung von Raid gesehen wird. Dabei ist das Verfahren genauso alt, wenn nicht sogar älter.

Variable Redundanz

Inhalt:
  1. Erasure Coding: Das Ende von Raid kommt durch Mathematik
  2. Redundanz des kleinen Mannes

Raid ist allerdings nicht obsolet: Solange sich ein Laufwerk aus nicht allzu vielen Festplatten oder SSDs zusammensetzt, sind Raid-Verbunde noch tragbar. Geht es um große Cluster, bei denen Laufwerke aus mehreren Dutzend Massenspeichern bestehen, wird die Ausfallwahrscheinlichkeit in vielen Fällen zu einem kritischen Faktor - schließlich ist es nicht unwahrscheinlich, dass in einem Cluster aus 100 Platten zwei oder mehr gleichzeitig ausfallen. Raid-Systeme kommen da schnell an ihre Grenzen. In besonders kritischen Anwendungen, etwa im Rechenzentrum, ist es daher üblich, eine oder meist sogar zwei volle Replikationen von Daten anzulegen. Das kostet Schreibleistung und viel Geld, das in zusätzliche Hardware investiert werden muss.

Erasure Coding skaliert in solchen Situationen besser. Bei diesem Verfahren werden Daten gekapselt auf verschiedenen, möglichst physisch voneinander getrennten Instanzen abgelegt. In die Datenkapseln wird eine gewünschte Anzahl an Paritäten ebenfalls gleichmäßig verteilt abgespeichert. Aus den Paritäten lassen sich wiederum beliebige beschädigte oder nicht lesbare Segmente eines Speicherclusters mathematisch rekonstruieren - eine häufig verwendete Methode dafür ist der Reed-Solomon-Algorithmus, der bereits im Jahr 1960 erfunden wurde und beispielsweise auch bei Raid 6 zum Einsatz kommt. Eine der ersten Anwendungen dieses Verfahrens war das Nasa-Raumfahrtprogramm Voyager im Jahr 1977.

Wie viele Speichermedien gleichzeitig ausfallen können, bestimmen die Betreiber eines Storage-Clusters selbst. Generell wird das Verhältnis der Datenmenge zum Paritätsüberhang mit der Gleichung n = k + m angegeben, wobei n die Gesamtzahl der Speichermedien ist, k die Anzahl der Datensegmente und m die Anzahl der Einheiten, die maximal ausfallen dürfen. Eine andere Schreibweise ist beispielsweise EC 10/15. Diese sagt aus, dass für zehn Datensymbole 15 Symbole geschrieben werden und fünf Teile ausfallen dürfen.

Stellenmarkt
  1. BWI GmbH, bundesweit
  2. Porsche Consulting GmbH, Stuttgart, Berlin, Frankfurt am Main, Hamburg, München

Das Verhältnis kann von Anwendung zu Anwendung unterschiedlich sein, je nach Belastung der Laufwerke. Der Backup-Anbieter Backblaze nutzt in seinen Rechenzentren beispielsweise eine Anordnung von 20 Einheiten, die sich in ein Verhältnis von 17 + 3 aufteilen. Einzelne Einheiten fasst das Unternehmen in einzelnen, physisch voneinander abgetrennten Servern zusammen. In ihrem Cluster mit 20 baugleichen Maschinen dürfen also maximal drei beliebige Server ausfallen. Die übrigen Speichersysteme können durch die verteilten Paritätsmatrizen die korrumpierten Daten wieder rekonstruieren. Zum Vergleich: Das als eines der sichersten Raid-Systeme geltende Raid 6 mit seiner doppelten Parität ermöglicht nur den Ausfall zweier Festplatten oder SSDs zur gleichen Zeit.

Hohe Datendichte führt zu langen Rekonstruktionszeiten

Ein Nachteil an Raid generell ist zudem, dass die Rekonstruktion von Daten gerade bei Laufwerken mit großer Kapazität lange dauern kann. Das ist für Anwendungen mit hohen Verfügbarkeitsanforderungen - etwa Cloud-Infrastrukturen - nicht optimal. Dass Festplatten aktuell 12 Terabyte und mehr an Daten speichern können, schlägt zusätzlich auf die Geschwindigkeit.

Gerade in großen Rechenzentrum hat die Verteilung von Daten auf mehrere physikalische Standorte zudem den großen Vorteil, besser skalierbar und sicherer zu sein. Mit Erasure Codes abgespeicherte Daten können sich theoretisch überall auf der Welt befinden, da sie in logischen Blöcken und nicht an Laufwerke gebunden abgespeichert werden.

Warum sind Raid-Systeme dann noch nicht komplett obsolet? Der Grund hängt wohl auch mit dem Argument zusammen, mit dem sich Raid schon Anfang der 90er Jahre durchgesetzt hat: Rechenleistung.

Redundanz des kleinen Mannes 
  1. 1
  2. 2
  3.  


Anzeige
Top-Angebote
  1. 35€ (Bestpreis!)
  2. 199€ + Versand
  3. 56€ (Bestpreis!)

Wiki-Nger 22. Jul 2019

Ich dachte erst "dämlich" deswegen, weil es nach Daten löschen klingt, ok. ^^ Um auf...

Wiki-Nger 22. Jul 2019

Wenn mein gesundes Halbwissen mich nicht trügt, braucht man auch weniger Hot Spares, weil...

Anonymer Nutzer 12. Jul 2019

nein, er hat nur gasagt always make copy, d.h. immer eine lauffähige version in der...

recluce 11. Jul 2019

Die 150 bis 200 MB/s sehe ich in der PRAXIS. Klar, es gibt immer Workloads bei denen das...

ultra79 11. Jul 2019

Definiere "Hardware RAID" - also was ist das?


Folgen Sie uns
       


iPhone 11 - Test

Das iPhone 11 ist das günstigste der drei neuen iPhone-Modelle - kostet aber immer noch mindestens 850 Euro. Dafür müssen Nutzer kaum Kompromisse bei der Kamera machen - das Display finden wir aber wie beim iPhone Xr antiquiert.

iPhone 11 - Test Video aufrufen
Change-Management: Die Zeiten, sie, äh, ändern sich
Change-Management
Die Zeiten, sie, äh, ändern sich

Einen Change zu wollen, gehört heute zum guten Ton in der Unternehmensführung. Doch ein erzwungener Wandel in der Firmenkultur löst oft keine Probleme und schafft sogar neue.
Ein Erfahrungsbericht von Marvin Engel

  1. IT-Jobs Der Amtsschimmel wiehert jetzt agil
  2. MINT Werden Frauen überfördert?
  3. Recruiting Wenn das eigene Wachstum zur Herausforderung wird

Linux-Kernel: Selbst Google ist unfähig, Android zu pflegen
Linux-Kernel
Selbst Google ist unfähig, Android zu pflegen

Bisher gilt Google als positive Ausnahme von der schlechten Update-Politik im Android-Ökosystem. Doch eine aktuelle Sicherheitslücke zeigt, dass auch Google die Updates nicht im Griff hat. Das ist selbst verschuldet und könnte vermieden werden.
Ein IMHO von Sebastian Grüner

  1. Kernel Linux bekommt Unterstützung für USB 4
  2. Kernel Vorschau auf Linux 5.4 bringt viele Security-Funktionen
  3. Linux Lockdown-Patches im Kernel aufgenommen

Mädchen und IT: Fehler im System
Mädchen und IT
Fehler im System

Bis zu einem gewissen Alter sind Jungen und Mädchen gleichermaßen an Technik interessiert. Wenn es dann aber um die Berufswahl geht, entscheiden sich immer noch viel mehr junge Männer als Frauen für die IT. Ein wichtiger Grund dafür ist in der Schule zu suchen.
Von Valerie Lux

  1. IT an Schulen Intelligenter Stift zeichnet Handschrift von Schülern auf
  2. 5G Milliardenlücke beim Digitalpakt Schule droht
  3. Medienkompetenz Was, Ihr Kind kann nicht programmieren?

    •  /