Abo
  • IT-Karriere:

Erasure Coding: Das Ende von Raid kommt durch Mathematik

In vielen Anwendungsszenarien sind Raid-Systeme mittlerweile nicht mehr die optimale Lösung. Zu langsam und starr sind sie. Abhilfe schaffen können mathematische Verfahren wie Erasure Coding. Noch existieren für beide Techniken Anwendungsgebiete. Am Ende wird Raid aber wohl verschwinden.

Eine Analyse von veröffentlicht am
Erasure Coding skaliert mit vielen Laufwerken gut.
Erasure Coding skaliert mit vielen Laufwerken gut. (Bild: Heiko Raschke/Golem.de)

Wenn es um Datensicherheit und Redundanz geht, denken viele IT-affine Menschen direkt an Raid. Das Redundant Array of Independent Disks ist bereits seit langer Zeit ein Quasistandard für NAS-Systeme und File-Server. Raid 1, Raid 5 und Raid nutzen ein oder mehrere physische Laufwerke als Rückfallebene, sollte ein Gerät ausfallen. Das Problem: Fallen mehrere Platten gleichzeitig aus, können Daten schnell verloren gehen oder müssen zeitintensiv aus einem früheren Backup wiederhergestellt werden. Eine Alternative ist die Fehlerkorrektur durch Erasure Coding, die von einigen mittlerweile teils als Ablösung von Raid gesehen wird. Dabei ist das Verfahren genauso alt, wenn nicht sogar älter.

Variable Redundanz

Inhalt:
  1. Erasure Coding: Das Ende von Raid kommt durch Mathematik
  2. Redundanz des kleinen Mannes

Raid ist allerdings nicht obsolet: Solange sich ein Laufwerk aus nicht allzu vielen Festplatten oder SSDs zusammensetzt, sind Raid-Verbunde noch tragbar. Geht es um große Cluster, bei denen Laufwerke aus mehreren Dutzend Massenspeichern bestehen, wird die Ausfallwahrscheinlichkeit in vielen Fällen zu einem kritischen Faktor - schließlich ist es nicht unwahrscheinlich, dass in einem Cluster aus 100 Platten zwei oder mehr gleichzeitig ausfallen. Raid-Systeme kommen da schnell an ihre Grenzen. In besonders kritischen Anwendungen, etwa im Rechenzentrum, ist es daher üblich, eine oder meist sogar zwei volle Replikationen von Daten anzulegen. Das kostet Schreibleistung und viel Geld, das in zusätzliche Hardware investiert werden muss.

Erasure Coding skaliert in solchen Situationen besser. Bei diesem Verfahren werden Daten gekapselt auf verschiedenen, möglichst physisch voneinander getrennten Instanzen abgelegt. In die Datenkapseln wird eine gewünschte Anzahl an Paritäten ebenfalls gleichmäßig verteilt abgespeichert. Aus den Paritäten lassen sich wiederum beliebige beschädigte oder nicht lesbare Segmente eines Speicherclusters mathematisch rekonstruieren - eine häufig verwendete Methode dafür ist der Reed-Solomon-Algorithmus, der bereits im Jahr 1960 erfunden wurde und beispielsweise auch bei Raid 6 zum Einsatz kommt. Eine der ersten Anwendungen dieses Verfahrens war das Nasa-Raumfahrtprogramm Voyager im Jahr 1977.

Wie viele Speichermedien gleichzeitig ausfallen können, bestimmen die Betreiber eines Storage-Clusters selbst. Generell wird das Verhältnis der Datenmenge zum Paritätsüberhang mit der Gleichung n = k + m angegeben, wobei n die Gesamtzahl der Speichermedien ist, k die Anzahl der Datensegmente und m die Anzahl der Einheiten, die maximal ausfallen dürfen. Eine andere Schreibweise ist beispielsweise EC 10/15. Diese sagt aus, dass für zehn Datensymbole 15 Symbole geschrieben werden und fünf Teile ausfallen dürfen.

Stellenmarkt
  1. Beta Systems Software AG, Berlin
  2. STAUFEN.AG, Köngen

Das Verhältnis kann von Anwendung zu Anwendung unterschiedlich sein, je nach Belastung der Laufwerke. Der Backup-Anbieter Backblaze nutzt in seinen Rechenzentren beispielsweise eine Anordnung von 20 Einheiten, die sich in ein Verhältnis von 17 + 3 aufteilen. Einzelne Einheiten fasst das Unternehmen in einzelnen, physisch voneinander abgetrennten Servern zusammen. In ihrem Cluster mit 20 baugleichen Maschinen dürfen also maximal drei beliebige Server ausfallen. Die übrigen Speichersysteme können durch die verteilten Paritätsmatrizen die korrumpierten Daten wieder rekonstruieren. Zum Vergleich: Das als eines der sichersten Raid-Systeme geltende Raid 6 mit seiner doppelten Parität ermöglicht nur den Ausfall zweier Festplatten oder SSDs zur gleichen Zeit.

Hohe Datendichte führt zu langen Rekonstruktionszeiten

Ein Nachteil an Raid generell ist zudem, dass die Rekonstruktion von Daten gerade bei Laufwerken mit großer Kapazität lange dauern kann. Das ist für Anwendungen mit hohen Verfügbarkeitsanforderungen - etwa Cloud-Infrastrukturen - nicht optimal. Dass Festplatten aktuell 12 Terabyte und mehr an Daten speichern können, schlägt zusätzlich auf die Geschwindigkeit.

Gerade in großen Rechenzentrum hat die Verteilung von Daten auf mehrere physikalische Standorte zudem den großen Vorteil, besser skalierbar und sicherer zu sein. Mit Erasure Codes abgespeicherte Daten können sich theoretisch überall auf der Welt befinden, da sie in logischen Blöcken und nicht an Laufwerke gebunden abgespeichert werden.

Warum sind Raid-Systeme dann noch nicht komplett obsolet? Der Grund hängt wohl auch mit dem Argument zusammen, mit dem sich Raid schon Anfang der 90er Jahre durchgesetzt hat: Rechenleistung.

Redundanz des kleinen Mannes 
  1. 1
  2. 2
  3.  


Anzeige
Hardware-Angebote
  1. täglich neue Deals bei Alternate.de
  2. (reduzierte Überstände, Restposten & Co.)

Wiki-Nger 22. Jul 2019 / Themenstart

Ich dachte erst "dämlich" deswegen, weil es nach Daten löschen klingt, ok. ^^ Um auf...

Wiki-Nger 22. Jul 2019 / Themenstart

Wenn mein gesundes Halbwissen mich nicht trügt, braucht man auch weniger Hot Spares, weil...

Anonymer Nutzer 12. Jul 2019 / Themenstart

nein, er hat nur gasagt always make copy, d.h. immer eine lauffähige version in der...

recluce 11. Jul 2019 / Themenstart

Die 150 bis 200 MB/s sehe ich in der PRAXIS. Klar, es gibt immer Workloads bei denen das...

ultra79 11. Jul 2019 / Themenstart

Definiere "Hardware RAID" - also was ist das?

Kommentieren


Folgen Sie uns
       


E-Bike-Neuerungen von Bosch angesehen

Neue Motoren und mehr Selbstständigkeit für Boschs E-Bike Systems - wir haben uns angesehen, was für 2020 geplant ist.

E-Bike-Neuerungen von Bosch angesehen Video aufrufen
Indiegames-Rundschau: Epische ASCII-Abenteuer und erlebnishungrige Astronauten
Indiegames-Rundschau
Epische ASCII-Abenteuer und erlebnishungrige Astronauten

In Stone Story RPG erwacht ASCII-Art zum Leben, die Astronauten in Oxygen Not Included erleben tragikomische Slapstick-Abenteuer, dazu kommen Aufbaustrategie plus Action und Sammelkartenspiele: Golem.de stellt neue Indiegames vor.
Von Rainer Sigl

  1. Indiegames-Rundschau Von Bananen und Astronauten
  2. Indiegames-Rundschau Verloren im Sonnensystem und im Mittelalter
  3. Indiegames-Rundschau Drogen, Schwerter, Roboter-Ritter

Schienenverkehr: Die Bahn hat wieder eine Vision
Schienenverkehr
Die Bahn hat wieder eine Vision

Alle halbe Stunde von einer Stadt in die andere, keine langen Umsteigezeiten zur Regionalbahn mehr: Das verspricht der Deutschlandtakt der Deutschen Bahn. Zu schön, um wahr zu werden?
Eine Analyse von Caspar Schwietering

  1. DB Navigator Deutsche Bahn lädt iOS-Nutzer in Betaphase ein
  2. One Fiber EWE will Bahn mit bundesweitem Glasfasernetz ausstatten
  3. VVS S-Bahn-Netz der Region Stuttgart bietet vollständig WLAN

IT-Arbeitsmarkt: Jobgarantie gibt es nie
IT-Arbeitsmarkt
Jobgarantie gibt es nie

Deutsche Unternehmen stellen weniger ein und entlassen mehr. Es ist zwar Jammern auf hohem Niveau, aber Fakt ist: Die Konjunktur lässt nach, was Arbeitsplätze gefährdet. Auch die von IT-Experten, die überall gesucht werden?
Ein Bericht von Peter Ilg

  1. IT-Standorte Wie kann Leipzig Hypezig bleiben?
  2. IT-Fachkräftemangel Arbeit ohne Ende
  3. IT-Forensikerin Beweise sichern im Faradayschen Käfig

    •  /