Abo
  • IT-Karriere:

Erasure Coding: Das Ende von Raid kommt durch Mathematik

In vielen Anwendungsszenarien sind Raid-Systeme mittlerweile nicht mehr die optimale Lösung. Zu langsam und starr sind sie. Abhilfe schaffen können mathematische Verfahren wie Erasure Coding. Noch existieren für beide Techniken Anwendungsgebiete. Am Ende wird Raid aber wohl verschwinden.

Eine Analyse von veröffentlicht am
Erasure Coding skaliert mit vielen Laufwerken gut.
Erasure Coding skaliert mit vielen Laufwerken gut. (Bild: Heiko Raschke/Golem.de)

Wenn es um Datensicherheit und Redundanz geht, denken viele IT-affine Menschen direkt an Raid. Das Redundant Array of Independent Disks ist bereits seit langer Zeit ein Quasistandard für NAS-Systeme und File-Server. Raid 1, Raid 5 und Raid nutzen ein oder mehrere physische Laufwerke als Rückfallebene, sollte ein Gerät ausfallen. Das Problem: Fallen mehrere Platten gleichzeitig aus, können Daten schnell verloren gehen oder müssen zeitintensiv aus einem früheren Backup wiederhergestellt werden. Eine Alternative ist die Fehlerkorrektur durch Erasure Coding, die von einigen mittlerweile teils als Ablösung von Raid gesehen wird. Dabei ist das Verfahren genauso alt, wenn nicht sogar älter.

Variable Redundanz

Inhalt:
  1. Erasure Coding: Das Ende von Raid kommt durch Mathematik
  2. Redundanz des kleinen Mannes

Raid ist allerdings nicht obsolet: Solange sich ein Laufwerk aus nicht allzu vielen Festplatten oder SSDs zusammensetzt, sind Raid-Verbunde noch tragbar. Geht es um große Cluster, bei denen Laufwerke aus mehreren Dutzend Massenspeichern bestehen, wird die Ausfallwahrscheinlichkeit in vielen Fällen zu einem kritischen Faktor - schließlich ist es nicht unwahrscheinlich, dass in einem Cluster aus 100 Platten zwei oder mehr gleichzeitig ausfallen. Raid-Systeme kommen da schnell an ihre Grenzen. In besonders kritischen Anwendungen, etwa im Rechenzentrum, ist es daher üblich, eine oder meist sogar zwei volle Replikationen von Daten anzulegen. Das kostet Schreibleistung und viel Geld, das in zusätzliche Hardware investiert werden muss.

Erasure Coding skaliert in solchen Situationen besser. Bei diesem Verfahren werden Daten gekapselt auf verschiedenen, möglichst physisch voneinander getrennten Instanzen abgelegt. In die Datenkapseln wird eine gewünschte Anzahl an Paritäten ebenfalls gleichmäßig verteilt abgespeichert. Aus den Paritäten lassen sich wiederum beliebige beschädigte oder nicht lesbare Segmente eines Speicherclusters mathematisch rekonstruieren - eine häufig verwendete Methode dafür ist der Reed-Solomon-Algorithmus, der bereits im Jahr 1960 erfunden wurde und beispielsweise auch bei Raid 6 zum Einsatz kommt. Eine der ersten Anwendungen dieses Verfahrens war das Nasa-Raumfahrtprogramm Voyager im Jahr 1977.

Wie viele Speichermedien gleichzeitig ausfallen können, bestimmen die Betreiber eines Storage-Clusters selbst. Generell wird das Verhältnis der Datenmenge zum Paritätsüberhang mit der Gleichung n = k + m angegeben, wobei n die Gesamtzahl der Speichermedien ist, k die Anzahl der Datensegmente und m die Anzahl der Einheiten, die maximal ausfallen dürfen. Eine andere Schreibweise ist beispielsweise EC 10/15. Diese sagt aus, dass für zehn Datensymbole 15 Symbole geschrieben werden und fünf Teile ausfallen dürfen.

Stellenmarkt
  1. Fraunhofer-Institut für Optronik, Systemtechnik und Bildauswertung IOSB, Karlsruhe
  2. GHM Gesellschaft für Handwerksmessen mbH, München

Das Verhältnis kann von Anwendung zu Anwendung unterschiedlich sein, je nach Belastung der Laufwerke. Der Backup-Anbieter Backblaze nutzt in seinen Rechenzentren beispielsweise eine Anordnung von 20 Einheiten, die sich in ein Verhältnis von 17 + 3 aufteilen. Einzelne Einheiten fasst das Unternehmen in einzelnen, physisch voneinander abgetrennten Servern zusammen. In ihrem Cluster mit 20 baugleichen Maschinen dürfen also maximal drei beliebige Server ausfallen. Die übrigen Speichersysteme können durch die verteilten Paritätsmatrizen die korrumpierten Daten wieder rekonstruieren. Zum Vergleich: Das als eines der sichersten Raid-Systeme geltende Raid 6 mit seiner doppelten Parität ermöglicht nur den Ausfall zweier Festplatten oder SSDs zur gleichen Zeit.

Hohe Datendichte führt zu langen Rekonstruktionszeiten

Ein Nachteil an Raid generell ist zudem, dass die Rekonstruktion von Daten gerade bei Laufwerken mit großer Kapazität lange dauern kann. Das ist für Anwendungen mit hohen Verfügbarkeitsanforderungen - etwa Cloud-Infrastrukturen - nicht optimal. Dass Festplatten aktuell 12 Terabyte und mehr an Daten speichern können, schlägt zusätzlich auf die Geschwindigkeit.

Gerade in großen Rechenzentrum hat die Verteilung von Daten auf mehrere physikalische Standorte zudem den großen Vorteil, besser skalierbar und sicherer zu sein. Mit Erasure Codes abgespeicherte Daten können sich theoretisch überall auf der Welt befinden, da sie in logischen Blöcken und nicht an Laufwerke gebunden abgespeichert werden.

Warum sind Raid-Systeme dann noch nicht komplett obsolet? Der Grund hängt wohl auch mit dem Argument zusammen, mit dem sich Raid schon Anfang der 90er Jahre durchgesetzt hat: Rechenleistung.

Redundanz des kleinen Mannes 
  1. 1
  2. 2
  3.  


Anzeige
Top-Angebote
  1. 4,49€
  2. (-70%) 14,99€
  3. 0,00€ im Epic Store
  4. (aktuell u. a. Asus PG279Q ROG Monitor 689€, Corsair Glaive RGB Maus 34,99€)

bananaking 15:32 / Themenstart

Erasure Coding, was für ein dämlicher Marketingname. Ich dachte da jetzt wunder was da...

ML82 12. Jul 2019 / Themenstart

nein, er hat nur gasagt always make copy, d.h. immer eine lauffähige version in der...

recluce 11. Jul 2019 / Themenstart

Die 150 bis 200 MB/s sehe ich in der PRAXIS. Klar, es gibt immer Workloads bei denen das...

ultra79 11. Jul 2019 / Themenstart

Was mit der neuen HDD passiert ist natürlich von der Implementierung abhängig...

ultra79 11. Jul 2019 / Themenstart

Definiere "Hardware RAID" - also was ist das?

Kommentieren


Folgen Sie uns
       


Raspberry Pi 4B vorgestellt

Nicht jedem dürften die Änderungen gefallen: Denn zwangsläufig wird auch neues Zubehör fällig.

Raspberry Pi 4B vorgestellt Video aufrufen
Ursula von der Leyen: Von Zensursula zur EU-Kommissionspräsidentin
Ursula von der Leyen
Von "Zensursula" zur EU-Kommissionspräsidentin

Nach der "Rede ihres Lebens" hat das Europäische Parlament am Dienstagabend Ursula von der Leyen an die Spitze der EU-Kommission gewählt. Die Christdemokratin will sich in ihrem neuen Amt binnen 100 Tagen für einen Ethik-Rahmen für KI und ambitioniertere Klimaziele stark machen. Den Planeten retten, lautet ihr ganz großer Vorsatz.
Ein Bericht von Justus Staufburg

  1. Adsense for Search Neue Milliardenstrafe gegen Google in der EU

Energie: Wo die Wasserstoffqualität getestet wird
Energie
Wo die Wasserstoffqualität getestet wird

Damit eine Brennstoffzelle einwandfrei arbeitet, braucht sie sauberen Wasserstoff. Wie aber lassen sich Verunreinigungen bis auf ein milliardstel Teil erfassen? Am Testfeld Wasserstoff in Duisburg wird das erprobt - und andere Technik für die Wasserstoffwirtschaft.
Ein Bericht von Werner Pluta

  1. Autos Elektro, Brennstoffzelle oder Diesel?
  2. Energiespeicher Heiße Steine sind effizienter als Brennstoffzellen
  3. Klimaschutz Großbritannien probt für den Kohleausstieg

iPad OS im Test: Apple entdeckt den USB-Stick
iPad OS im Test
Apple entdeckt den USB-Stick

Zusammen mit iOS 13 hat Apple eine eigene Version für seine iPads vorgestellt: iPad OS verbessert die Benutzung als Tablet tatsächlich, ein Notebook-Ersatz ist ein iPad Pro damit aber immer noch nicht. Apple bringt aber endlich Funktionen, die wir teilweise seit Jahren vermisst haben.
Ein Test von Tobias Költzsch

  1. Tablets Apple bringt neues iPad Air und iPad Mini
  2. Eurasische Wirtschaftskommission Apple registriert sieben neue iPads
  3. Apple Es ändert sich einiges bei der App-Entwicklung für das iPad

    •  /