ZFS nun mit Deduplikation

Effizientere Nutzung von Festplattenplatz

Sun hat sein Dateisystem ZFS um Deduplikation erweitert, was bei entsprechenden Daten eine deutliche Einsparung von Festplattenplatz verspricht. Die neue Funktion kann einfach in der ZFS-Konfiguration aktiviert werden.

Artikel veröffentlicht am ,

ZFS bietet eine Deduplikation auf Blockebene. Anhand von Hash-Wert werden Blöcke mit gleichen Daten ermittelt und die entsprechenden Daten nur einmal auf die Platte geschrieben. Werden immer wieder die gleichen Daten abgelegt, lässt sich so viel Speicherplatz einsparen. Typische Szenarien, in denen sich eine Deduplikation lohnt, sind Backups von Servern, Images virtueller Maschinen oder Quelltext-Repositories.

Stellenmarkt
  1. IT-Referent*in (m/w/d)
    Bundesnetzagentur, Bonn, Berlin, Cottbus, Mainz, Saarbrücken
  2. (Junior) Data Warehouse & BI Berater:in
    viadee Unternehmensberatung AG, Münster, Köln oder Dortmund
Detailsuche

Die Deduplikation von ZFS erfolgt synchron, das heißt, Duplikate werden umgehend eliminiert, was die CPU belastet. Doch Sun geht davon aus, dass der Engpass in entsprechenden Systemen nicht die CPU ist.

Ein Beschränkung für die Datengröße gibt es dabei nicht. Allerdings arbeitet die Deduplikation am schnellsten, wenn die Deduplikationstabellen in den Speicher passen. Sind sie zu groß und müssen auf die Festplatte ausgelagert werden, wird das Ganze deutlich langsamer.

Um die Deduplikation in ZFS zu aktivieren, muss lediglich ein entsprechender Eintrag in der Konfiguration vorgenommen werden. Dabei kann die Funktion gezielt für einzelne Verzeichnisse aktiviert oder deaktiviert werden. Zudem steht eine Verify-Option bereit, die verhindert, dass zwei unterschiedliche Blöcke mit gleichem Hashwert als identisch angesehen werden. Etwas, das aufgrund der verwendeten Hash-Algorithmen sehr selten vorkommen kann.

Golem Karrierewelt
  1. C++ Programmierung Grundlagen (keine Vorkenntnisse benötigt): virtueller Drei-Tage-Workshop
    07.-09.11.2022, virtuell
  2. AZ-104 Microsoft Azure Administrator: virtueller Vier-Tage-Workshop
    07.-10.11.2022, virtuell
Weitere IT-Trainings

Details und Hintergründe zur Deduplikation in ZFS erläutert Jeff Bonwick in einem Blogeintrag. Der Sun-Mitarbeiter war maßgeblich an der Entwicklung der Deduplikation für ZFS beteiligt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Verwundert 08. Nov 2009

Das sollte man eher dich fragen Auf der gleichen Platte hast du auch deine Backups...

was_weiss_ich 05. Nov 2009

Ok, der Satz war etwas fies, ich gebs ja zu ;) Mag sein, auf ARM läuft der Solaris...

Juppu 04. Nov 2009

Merci beaucoup! Auch nen schönen Abend.

Gaius Baltar 04. Nov 2009

Aber merkwürdigerweise nur Ext2, und das seit Jahren schon. Ext3 mit Journaling wird...



Aktuell auf der Startseite von Golem.de
Wissensbasis
Wikipedia braucht eine neue Dimension

Manch ein Artikel auf Wikipedia ist so schwer zu verstehen, dass man sich nur noch einen einzigen Link wünscht: "Erklär es mir einfacher."
Ein IMHO von Boris Mayer

Wissensbasis: Wikipedia braucht eine neue Dimension
Artikel
  1. Flexpoint, Bfloat16, TensorFloat32, FP8: Dank KI zu neuen Gleitkommazahlen
    Flexpoint, Bfloat16, TensorFloat32, FP8
    Dank KI zu neuen Gleitkommazahlen

    Die Dominanz der KI-Forschung bringt die Gleitkommazahlen erstmals seit Jahrzehnten wieder durcheinander. Darauf muss auch die Hardware-Industrie reagieren.
    Von Sebastian Grüner

  2. Apple Watch 8 im Test: Eine Smartwatch für wirklich alle Fälle
    Apple Watch 8 im Test
    Eine Smartwatch für wirklich alle Fälle

    Die Apple Watch 8 sieht aus wie ihre Vorgängerin, im Test zeigt sich auch der Funktionsumfang sehr ähnlich. Es gibt aber interessante neue Sensoren.
    Ein Test von Tobias Költzsch

  3. Onlinesuche: Google bringt Neuerungen für Suche und Maps
    Onlinesuche
    Google bringt Neuerungen für Suche und Maps

    Die Google-Suche bekommt in Deutschland unter anderem die Kombi-Suche, bei Maps wird eine Highlights-Funktion eingeführt.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • CyberWeek nur noch heute • Xbox Series S + FIFA 23 259€ • MindStar (Mega Fastro SSD 1TB 69€, KF DDR5-6000 32GB Kit 229€) • PCGH-Ratgeber-PC 3000€ Radeon Edition 2.500€ • Alternate (Be Quiet Tower-Gehäuse 89,90€) • PS5-Controller GoW Ragnarök Limited Edition vorbestellbar [Werbung]
    •  /