Kompression: Dropbox macht Brotli zu Broccoli

Zur Kompression synchronisierter Daten nutzt Dropbox nun eine leicht angepasste Version von Googles Brotli. Das Ergebnis heißt Broccoli.

Artikel veröffentlicht am 5. August 2020, 12:55 Uhr, Sebastian Grüner

Dropbox setzt zur Kompression auf Broccoli. (Bild: Steven Lilley/CC-BY-SA 2.0)

Der Anbieter zum Synchronisieren von Dateien hat seinen Kompressionsalgorithmus verändert, wie das Team in seinem Infrastruktur-Blog schreibt. Er setzt nun auf eine leicht abgewandelte Variante der Brotli-Technik. Brotli wurde erstmals im Jahr 2015 von Google als Alternative zu dem bisher sehr weit verbreiteten Gzip beziehungsweise Zlib vorgestellt und ist inzwischen ein Internetstandard. Auch Dropbox nutzt die Technik schon länger, hat diese nun aber erweitert.

Der Ankündigung zufolge dient Broccoli dazu, die gewünschten Dateien zu komprimieren, bevor diese synchronisiert und damit über das Netzwerk übertragen werden. Broccoli steht dabei für brot-cat-li mit Bezugnahme auf das Unix-Tool cat. Denn Dropbox komprimiert die Dateien nicht nur, sondern fügt diese zusätzlich auch zusammen. Mit der eigenen Implementierung sei Dropbox auch Dank Multithreading ungefähr dreimal so schnell wie Googles Brotli.

Für die Nutzung mehrerer Kerne mit Brotli müsse das Team einzelne Teile komprimieren (Chunks) und diese so zusammenfügen, dass eine valide Brotli-Ausgabe entstehe. Das Team habe jedoch eine Eigenschaft im Brotli-Protokoll entdeckt, die es mit leichten Änderungen erlaube, ganze Dateien nach der Kompression zusammenzufügen. Genau dieses System nutzt nun Broccoli. Weitere Details dazu liefert der Blogeintrag von Dropbox.

Die Nutzung anderer möglicher Kompressionsalgorithmen, wie auch das eigene Lepton-Format, hat Dropbox aus Leistungsgründen nicht umgesetzt. Diese hielten mit der Netzwerkgeschwindigkeit auf Client-Rechnern nicht mit. Die mit Broccoli umgesetzten Verbesserungen führen laut dem Anbieter im Mittel zu einer Reduktion der Latenzen um mehr als 30 Prozent. Die Menge der übertragenen Daten im Netz habe Dropbox um einen ähnlichen Wert reduzieren können. Der in Rust geschriebene Code der zugrundeliegenden Bibliothek von Broccoli steht auf Github zur Verfügung.