Zstandard: Dreimal schnellere Kompression mit Intel QuickAssist

Schnelle Kompression und Dekompression ist für viele Anwendungen wichtig. Auf Servern mit geeigneten Prozessoren geht das jetzt schneller.

Artikel veröffentlicht am ,
Kunden, die Quick-Assist beim 4. Generation Xeon Scalable aktiviert haben, können damit per Zsdt mehr als dreimal schneller Daten komprimieren.
Kunden, die Quick-Assist beim 4. Generation Xeon Scalable aktiviert haben, können damit per Zsdt mehr als dreimal schneller Daten komprimieren. (Bild: Intel)

Die Zstandard (Zstd) Version 1.5.4 wird um ein Feature erweitert, durch das ein externes Plugin per Intel QuickAssist (QAT) bis zu 3,2-fachen Durchsatz bei der Komprimierung von Daten ermöglicht. Ähnlich stark steigt auch die Energieeffizienz. Die P99-Latenz ist zudem deutlich geringer, hier ist es sogar Faktor 3,8.

Normalerweise erstellt ein Sequence Producer aus einem Datensatz im Input Buffer eine Liste mit sich ganz oder teilweise gleichenden Daten, aus denen dann der komprimierte Datensatz generiert wird. Mit Version 1.5.4 kann diese Aufgabe blockweise durch externe Plug-ins übernommen werden.

Anwendungen können ZSDT_compress2() und ZSDT_compressStream2() weiter auf die gleiche Art aufrufen. Intel QAT kann aus dem Datensatz dann mit Hardwarebeschleunigung die passenden Sequenzen generieren und an Zsdt zurückgeben. Damit ist Kompression per Zsdt auf entsprechenden Prozessoren Hardware-beschleunigt. Dekompression wird hingegen nicht umfasst.

Hardwarebeschleunigung ist viel effizienter

Für die Tests hat das Team von Intel einen Xeon Platinum 8470N verwendet, auf dem der Turbo Boost deaktiviert war. Mit aktiviertem Boost wäre der Geschwindigkeitsunterschied vermutlich etwas geringer gewesen. Bereits ohne Turbo braucht QAT 90 Watt weniger an elektrischer Leistung und ist gleichzeitig mehr als dreimal so schnell wie die Software-Implementation. Mit aktivem Boost wäre der Unterschied bei der Effizienz vermutlich noch größer.

Intel Quick-Assist ist nicht auf allen Prozessoren verfügbar, sondern in erste Linie in Xeon-CPUs für Rechenzentren zu finden. Die 4. Generation Xeon Scalable bietet das Feature als optionales Upgrade. Es kann beim Kauf bereits aktiv sein oder später per Firmware-Update freigeschaltet werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Star Wars
Holiday Special jetzt in 4K mit 60 fps

Eine bessere Story bekommt der legendär schlechte Film dadurch leider nicht. Bis heute lieben ihn einige Fans aber vor allem wegen seiner Absurdität.

Star Wars: Holiday Special jetzt in 4K mit 60 fps
Artikel
  1. Lohn und Gehalt: OpenAI-Entwickler verdienen bis zu 800.000 US-Dollar im Jahr
    Lohn und Gehalt
    OpenAI-Entwickler verdienen bis zu 800.000 US-Dollar im Jahr

    Die Firma hinter Chat-GPT zahlt im Vergleich zu Unternehmen wie Nvidia besonders gut. Erfahrene Forscher und Entwickler auf dem Gebiet sind Mangelware.

  2. Software-Probleme: Elektrischer Chevy Blazer mit Verkaufsstopp belegt
    Software-Probleme
    Elektrischer Chevy Blazer mit Verkaufsstopp belegt

    Chevrolet hat einen Verkaufsstopp für sein neues Elektro-SUV Blazer verhängt, weil die Besitzer zahlreiche Softwareprobleme gemeldet haben.

  3. USA: Vertikale Agri-Photovoltaik lässt weiterhin Feldnutzung zu
    USA
    Vertikale Agri-Photovoltaik lässt weiterhin Feldnutzung zu

    Das US-Solarunternehmen iSun und der deutschen Agrivoltaik-Firma Next2Sun bauen in den USA eine Solaranlage mit vertikal aufgestellten Solarmodulen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    • Daily Deals • Crucial P5 Plus 2 TB mit Kühlkörper 114,99€ • Crucial Pro 32 GB DDR5-5600 79,99€ • Logitech G915 TKL LIGHTSYNC RGB 125,11€ • Anthem PC 0,99€ • Wochenendknaller bei MediaMarkt • MindStar: Patriot Viper VENOM 64 GB DDR5-6000 159€, XFX RX 7900 XT Speedster MERC 310 Black 789€ [Werbung]
    •  /