Abo
  • Services:
Anzeige
Für alle, die ein funktionierendes SDS suchen, dürfte LizardFS interessant sein.
Für alle, die ein funktionierendes SDS suchen, dürfte LizardFS interessant sein. (Bild: Screenshot Valentin Höbel)

Verwaltet, gespeichert und repliziert wird über die Chunk-Server

Für die Verwaltung, das Speichern und die Replikation der eigentlichen Daten sind die sogenannten Chunk-Server verantwortlich. Wie alle anderen Komponenten auch, wird der Chunk-Server-Dienst auf einem beliebigen Linux-System installiert. Chunk-Server sollten im Idealfall über schnelle Speichermedien (wie SAS-HDs oder SSDs) verfügen und können ein Filesystem als Teil des Storage-Pools exportieren. Im kleinsten Fall läuft ein Chunk-Server in einer virtuellen Maschine und gibt beispielsweise ein 20 GB großes Ext4-Dateisystem frei.

Anzeige

Alle Chunk-Server sind untereinander verbunden und schließen ihre jeweils lokalen Dateisysteme zu einem Pool zusammen. Die Daten werden ab einer bestimmten Größe in einzelne Stripes aufgeteilt, erscheinen dann vor den Augen des Clients aber immer noch als eine Datei.

Der Metadata-Backup-Logger sammelt ähnlich wie ein Shadow-Master stets die Änderungen der Metadaten ein und sollte naturgemäß auf einem eigenen System laufen. Anders als ein typischer Master hält dieser die Metadaten jedoch nicht im Arbeitsspeicher, sondern lokal im Dateisystem vor. Im unwahrscheinlichen Fall eines Totalausfalls aller LizardFS-Master steht somit eine Sicherung für das Disaster-Recovery bereit.

  • Genereller Kommunikationsfluss bei LizardFS (Quelle: Skytechnology)
  • CGI-Oberfläche von LizardFS (Quelle: Skytechnology)
  • Architekturübersicht LizardFS (Quelle: Skytechnology)
  • Grafische Darstellung des Lesevorgangs unter LizardFS (Quelle: Skytechnology)
  • Grafische Darstellung des Schreibvorgangs unter LizardFS (Quelle: Skytechnology)
Genereller Kommunikationsfluss bei LizardFS (Quelle: Skytechnology)

Dateioperationen

Damit ein System von LizardFS exportierte Freigaben einhängen kann, muss das Paket Lizardfs-client installiert sein. Ein simples Kommando sorgt dafür, dass das System über einen Mount-Point, etwa unter /mnt, auf die Daten zugreifen kann, die auf den Chunk-Servern schlummern. Sobald der Benutzer oder eine Anwendung auf eine solche Datei zugreifen möchte, kontaktiert der installierte LizardFS-Client den aktuellen Master. Dieser soll eine Liste an Chunk-Servern zurückgeben, welche die gewünschte Datei beherbergen. Der Client nimmt die Liste in Empfang und kontaktiert im Anschluss einen der Chunk-Server, um eine Aufforderung zum Senden der Datei abzusetzen. Der Chunk-Server antwortet abschließend mit dem gewünschten Datenstrom.

  • Genereller Kommunikationsfluss bei LizardFS (Quelle: Skytechnology)
  • CGI-Oberfläche von LizardFS (Quelle: Skytechnology)
  • Architekturübersicht LizardFS (Quelle: Skytechnology)
  • Grafische Darstellung des Lesevorgangs unter LizardFS (Quelle: Skytechnology)
  • Grafische Darstellung des Schreibvorgangs unter LizardFS (Quelle: Skytechnology)
Grafische Darstellung des Lesevorgangs unter LizardFS (Quelle: Skytechnology)

Soll eine Datei auf dem LizardFS-Storage-Pool geschrieben oder verändert werden, muss der LizardFS-Client ebenfalls Rücksprache mit dem Master halten. Es könnte ja sein, dass eine bestehende Datei aufgrund von Balancing-Mechanismen verschoben wurde oder ein eben noch verfügbarer Chunk-Server offline gegangen ist. Erst wenn der Master einen Chunk-Server für den Schreibvorgang auswählt und an den Client übermittelt, sendet dieser im nächsten Schritt seine Daten an den Ziel-Chunk-Server.

Dieser bestätigt den Schreibvorgang und leitet, falls notwendig, eine Replikation der frisch geschriebenen Daten ein. Damit stellt der Chunk-Server sicher, dass ein gegebenenfalls gesetztes Replikationsziel möglichst zeitnah erfüllt wird. Eine Antwort an den LizardFS-Client signalisiert einen erfolgreichen Schreibvorgang. Der Client beendet daraufhin die soeben geöffnete Write-Session, indem der Master über den eben abgelaufenen Vorgang unterrichtet wird.

Sowohl beim Lese-, als auch beim Schreibvorgang achtet der LizardFS-Client auf eine möglicherweise konfigurierte Topologie. Wenn es dem Client sinnvoll erscheint, bevorzugt dieser ortsnahe Chunk-Server gegenüber jenen, die eventuell nur mit einer höheren Latenz erreichbar sind.

  • Genereller Kommunikationsfluss bei LizardFS (Quelle: Skytechnology)
  • CGI-Oberfläche von LizardFS (Quelle: Skytechnology)
  • Architekturübersicht LizardFS (Quelle: Skytechnology)
  • Grafische Darstellung des Lesevorgangs unter LizardFS (Quelle: Skytechnology)
  • Grafische Darstellung des Schreibvorgangs unter LizardFS (Quelle: Skytechnology)
Grafische Darstellung des Schreibvorgangs unter LizardFS (Quelle: Skytechnology)
 LizardFS: Software-defined Storage, wie es sein sollSimple, aber ausreichende Web-GUI 

eye home zur Startseite
felix.schwarz 09. Mai 2016

hm, zu den restlichen Aussagen (Microsoft's scale-out Angebote) kann ich nichts sagen...

Juge 30. Apr 2016

Kennst Du Microsoft Azure? Xbox Live? Skype? Das läuft alles auf SDS (Scale out Fileserver).

tingelchen 27. Apr 2016

Am Ende muss man eigentlich nur hergehen und die Online Speicher als FS im Linux...

olqs 27. Apr 2016

Im Text wird geschrieben, dass CephFS auch von den Entwicklern noch als "nur für Early...



Anzeige

Stellenmarkt
  1. SARSTEDT AG & Co., Nümbrecht-Rommelsdorf
  2. Wolters Kluwer Deutschland GmbH, Hürth bei Köln
  3. Experis GmbH, Kiel
  4. Wüstenrot Immobilien GmbH, Ludwigsburg


Anzeige
Blu-ray-Angebote
  1. (u. a. The Revenant 7,97€, James Bond Spectre 7,97€, Der Marsianer 7,97€)
  2. (u. a. The Revenant, Batman v Superman, James Bond Spectre, Legend of Tarzan)
  3. (u. a. Warcraft Blu-ray 9,29€, Jack Reacher Blu-ray 6,29€, Forrest Gump 6,29€, Der Soldat...

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Business Continuity für geschäftskritische Anwendungen
  2. Data Center-Modernisierung für mehr Performance und
  3. Data Center-Modernisierung mit Hyper Converged-Infrastruktur


  1. Heiko Maas

    "Kein Wunder, dass Facebook seine Vorgaben geheim hält"

  2. Virtual Reality

    Oculus Rift unterstützt offiziell Roomscale-VR

  3. FTP-Client

    Filezilla bekommt ein Master Password

  4. Künstliche Intelligenz

    Apple arbeitet offenbar an eigenem AI-Prozessor

  5. Die Woche im Video

    Verbogen, abgehoben und tiefergelegt

  6. ZTE

    Chinas großes 5G-Testprojekt läuft weiter

  7. Ubisoft

    Far Cry 5 bietet Kampf gegen Sekte in und über Montana

  8. Rockstar Games

    Waffenschiebereien in GTA 5

  9. Browser-Games

    Unreal Engine 4.16 unterstützt Wasm und WebGL 2.0

  10. Hasskommentare

    Bundesrat fordert zahlreiche Änderungen an Maas-Gesetz



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Tado im Langzeittest: Am Ende der Heizperiode
Tado im Langzeittest
Am Ende der Heizperiode
  1. Speedport Smart Telekom bringt Smart-Home-Funktionen auf den Speedport
  2. Tapdo Das Smart Home mit Fingerabdrücken steuern
  3. Mehr Möbel als Gadget Eine Holzfernbedienung für das Smart Home

Blackberry Keyone im Test: Tolles Tastatur-Smartphone hat zu kurze Akkulaufzeit
Blackberry Keyone im Test
Tolles Tastatur-Smartphone hat zu kurze Akkulaufzeit
  1. Blackberry Keyone kommt Mitte Mai
  2. Keyone Blackberrys neues Tastatur-Smartphone kommt später

The Surge im Test: Frust und Feiern in der Zukunft
The Surge im Test
Frust und Feiern in der Zukunft
  1. Computerspiele und Psyche Wie Computerspieler zu Süchtigen erklärt werden sollen
  2. Wirtschaftssimulation Pizza Connection 3 wird gebacken
  3. Mobile-Games-Auslese Untote Rundfahrt und mobiles Seemannsgarn

  1. Re: 200 Zeichen / Minute

    mannelig | 16:01

  2. Machen wir doch mal die Probe aufs Exempel

    RipClaw | 16:01

  3. Re: Forken

    Vanger | 15:57

  4. Re: Der Beitrag von Rohde & Schwarz...

    MonMonthma | 15:54

  5. Re: Es ist übrigens das erste Far Cry, das in den...

    DeathMD | 15:51


  1. 12:54

  2. 12:41

  3. 11:44

  4. 11:10

  5. 09:01

  6. 17:40

  7. 16:40

  8. 16:29


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel