Komprimierung: AWS spart 30 Prozent Speicherplatz dank Zstd

Durch den Wechsel auf eine neue Komprimierung konnte AWS den Speicherplatzbedarf im Exabyte-Bereich reduzieren.

Artikel veröffentlicht am ,
AWS setzt bei S3 auf Zstd.
AWS setzt bei S3 auf Zstd. (Bild: Ivan Alvarado/File Photo/Reuters)

Mit dem Wechsel des Kompressionsalgorithmus von Deflate in Gzip auf Zstd habe der Cloud Hoster AWS eine Reduktion des Speicherplatzbedarfs für komprimierte S3-Speicher um 30 Prozent senken können. Das berichtet der ehemalige Vice President für Nachhaltigkeit bei dem Unternehmen, Adrian Cockcroft, auf Twitter. Diese Einsparung bewege sich im Exabyte-Bereich, heißt es weiter.

Stellenmarkt
  1. Software Entwickler (m/w/d)
    Rieter Ingolstadt GmbH, Ingolstadt
  2. Network / Security Engineer (m/w/d)
    HCD Consulting GmbH, München
Detailsuche

Das Kompressionsverfahren Zstd, kurz für Zstandard, stammt ursprünglich von Yann Collet, der dieses bei Facebook erstellt hat. Zstd verspricht eine ähnlich hohe Kompressionsrate wie das bislang gängige Zlib, soll aber eine deutlich schnellere Kompression und Dekompression ermöglichen. Im Vergleich zu Lzo soll hingegen die Kompressionsrate von Zstd höher sein. Die Technik nutzt teilweise eine Variante des Kodierungsverfahrens Asymmetric Numeral Systems (ANS), dessen Verwendung in der Vergangenheit zu Patentstreits führte, da der Erfinder das System eigentlich freihalten möchte.

Facebook nutzte Zstd zuerst für das Dateisystem Btrfs und die Technik wanderte bald nach der Erstellung standardmäßig in den Linux-Kernel. Inzwischen nutzen weitere Teile des Kernels ebenfalls Zstd, einige Linux-Distributionen nutzen die Technik für ihre Pakete und das in vielen Linux-Distributionen standardmäßig als Pack- und Archivierungsprogramm verwendete Tar des GNU-Projekts unterstützt ebenfalls Zstd.

Über die Einsparungen bei AWS dank Zstd schrieb Cockcroft als Antwort auf die Frage des Elektroingenieurs Dan Luu, wie viel Müll wohl durch Collet und dessen Erstellung von Zstd habe vermieden werden können. Für Twitter spare die Nutzung von Zstd im Jahr demnach einen mittleren achtstelligen Betrag an Kosten ein, schreibt Luu. Im dem geschilderten Fall von AWS dürfte der Betrag noch deutlich größer sein.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Gaius Baltar 23. Aug 2022 / Themenstart

Durch das neuartige Kodierungsverfahren deckt Zstd einen deutlich breiteren...

Gaius Baltar 23. Aug 2022 / Themenstart

Der Energiebedarf kann vermutlich mit dem Zeitaufwand der Komprimierung gleichgesetzt...

BoingPing 22. Aug 2022 / Themenstart

So steht's im Text.

gterm 22. Aug 2022 / Themenstart

Der Manager wollte doch nur einen Erfolg auf seinen Lebenslauf schreiben, damit er...

Kommentieren



Aktuell auf der Startseite von Golem.de
Cloudgaming
Google Stadia scheiterte nur an sich selbst

Die Technik war nicht das Problem von Alphabets ambitioniertem Cloudgaming-Dienst. Das Problem liegt bei Google. Ein Nachruf.
Eine Analyse von Daniel Ziegener

Cloudgaming: Google Stadia scheiterte nur an sich selbst
Artikel
  1. Tiktok-Video: Witz über große Brüste kostet Apple-Manager den Job
    Tiktok-Video
    Witz über große Brüste kostet Apple-Manager den Job

    Er befummle von Berufs wegen großbrüstige Frauen, hatte ein Apple Vice President bei Tiktok gewitzelt. Das kostete ihn den Job.

  2. Copilot, Java, RISC-V, Javascript, Tor: KI macht produktiver und Rust gewinnt wichtige Unterstützer
    Copilot, Java, RISC-V, Javascript, Tor
    KI macht produktiver und Rust gewinnt wichtige Unterstützer

    Dev-Update Die Diskussion um die kommerzielle Verwertbarkeit von Open Source erreicht Akka und Apache Flink, OpenAI macht Spracherkennung, Facebook hilft Javascript-Enwicklern und Rust wird immer siegreicher.
    Von Sebastian Grüner

  3. Vantage Towers: 1&1 Mobilfunk gibt Vodafone die Schuld an spätem Start
    Vantage Towers
    1&1 Mobilfunk gibt Vodafone die Schuld an spätem Start

    Einige Wochen hat es gedauert, bis 1&1 Mobilfunk eine klare Schuldzuweisung gemacht hat. Doch Vantage Towers verteidigt seine Position im Gespräch mit Golem.de.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • LG OLED TV 2022 65" 120 Hz 1.799€ • ASRock Mainboard f. Ryzen 7000 319€ • MindStar (G.Skill DDR5-6000 32GB 299€, Mega Fastro SSD 2TB 135€) • Alternate (G.Skill DDR5-6000 32GB 219,90€) • Xbox Series S + FIFA 23 259€ • PCGH-Ratgeber-PC 3000€ Radeon Edition 2.500€ [Werbung]
    •  /