Komprimierung: AWS spart 30 Prozent Speicherplatz dank Zstd

Durch den Wechsel auf eine neue Komprimierung konnte AWS den Speicherplatzbedarf im Exabyte-Bereich reduzieren.

Artikel veröffentlicht am 22. August 2022, 10:34 Uhr, Sebastian Grüner

AWS setzt bei S3 auf Zstd. (Bild: Ivan Alvarado/File Photo/Reuters)

Mit dem Wechsel des Kompressionsalgorithmus von Deflate in Gzip auf Zstd habe der Cloud Hoster AWS eine Reduktion des Speicherplatzbedarfs für komprimierte S3-Speicher um 30 Prozent senken können. Das berichtet der ehemalige Vice President für Nachhaltigkeit bei dem Unternehmen, Adrian Cockcroft, auf Twitter. Diese Einsparung bewege sich im Exabyte-Bereich, heißt es weiter.

Das Kompressionsverfahren Zstd, kurz für Zstandard, stammt ursprünglich von Yann Collet, der dieses bei Facebook erstellt hat. Zstd verspricht eine ähnlich hohe Kompressionsrate wie das bislang gängige Zlib, soll aber eine deutlich schnellere Kompression und Dekompression ermöglichen. Im Vergleich zu Lzo soll hingegen die Kompressionsrate von Zstd höher sein. Die Technik nutzt teilweise eine Variante des Kodierungsverfahrens Asymmetric Numeral Systems (ANS), dessen Verwendung in der Vergangenheit zu Patentstreits führte, da der Erfinder das System eigentlich freihalten möchte.

Facebook nutzte Zstd zuerst für das Dateisystem Btrfs und die Technik wanderte bald nach der Erstellung standardmäßig in den Linux-Kernel. Inzwischen nutzen weitere Teile des Kernels ebenfalls Zstd, einige Linux-Distributionen nutzen die Technik für ihre Pakete und das in vielen Linux-Distributionen standardmäßig als Pack- und Archivierungsprogramm verwendete Tar des GNU-Projekts unterstützt ebenfalls Zstd.

Über die Einsparungen bei AWS dank Zstd schrieb Cockcroft als Antwort auf die Frage des Elektroingenieurs Dan Luu, wie viel Müll wohl durch Collet und dessen Erstellung von Zstd habe vermieden werden können. Für Twitter spare die Nutzung von Zstd im Jahr demnach einen mittleren achtstelligen Betrag an Kosten ein, schreibt Luu. Im dem geschilderten Fall von AWS dürfte der Betrag noch deutlich größer sein.