Kompression: Dropbox macht Brotli zu Broccoli

Zur Kompression synchronisierter Daten nutzt Dropbox nun eine leicht angepasste Version von Googles Brotli. Das Ergebnis heißt Broccoli.

Artikel veröffentlicht am ,
Dropbox setzt zur Kompression auf Broccoli.
Dropbox setzt zur Kompression auf Broccoli. (Bild: Steven Lilley/CC-BY-SA 2.0)

Der Anbieter zum Synchronisieren von Dateien hat seinen Kompressionsalgorithmus verändert, wie das Team in seinem Infrastruktur-Blog schreibt. Er setzt nun auf eine leicht abgewandelte Variante der Brotli-Technik. Brotli wurde erstmals im Jahr 2015 von Google als Alternative zu dem bisher sehr weit verbreiteten Gzip beziehungsweise Zlib vorgestellt und ist inzwischen ein Internetstandard. Auch Dropbox nutzt die Technik schon länger, hat diese nun aber erweitert.

Stellenmarkt
  1. IT-Service Desk Agent / Mitarbeiter IT-Service Desk (m/w/d)
    Best Secret GmbH, Aschheim bei München, Poing bei München
  2. IT-Service und Systemadministrator (m/w/d)
    Scheja und Partner Rechtsanwälte mbB, Bonn
Detailsuche

Der Ankündigung zufolge dient Broccoli dazu, die gewünschten Dateien zu komprimieren, bevor diese synchronisiert und damit über das Netzwerk übertragen werden. Broccoli steht dabei für brot-cat-li mit Bezugnahme auf das Unix-Tool cat. Denn Dropbox komprimiert die Dateien nicht nur, sondern fügt diese zusätzlich auch zusammen. Mit der eigenen Implementierung sei Dropbox auch Dank Multithreading ungefähr dreimal so schnell wie Googles Brotli.

Für die Nutzung mehrerer Kerne mit Brotli müsse das Team einzelne Teile komprimieren (Chunks) und diese so zusammenfügen, dass eine valide Brotli-Ausgabe entstehe. Das Team habe jedoch eine Eigenschaft im Brotli-Protokoll entdeckt, die es mit leichten Änderungen erlaube, ganze Dateien nach der Kompression zusammenzufügen. Genau dieses System nutzt nun Broccoli. Weitere Details dazu liefert der Blogeintrag von Dropbox.

Die Nutzung anderer möglicher Kompressionsalgorithmen, wie auch das eigene Lepton-Format, hat Dropbox aus Leistungsgründen nicht umgesetzt. Diese hielten mit der Netzwerkgeschwindigkeit auf Client-Rechnern nicht mit. Die mit Broccoli umgesetzten Verbesserungen führen laut dem Anbieter im Mittel zu einer Reduktion der Latenzen um mehr als 30 Prozent. Die Menge der übertragenen Daten im Netz habe Dropbox um einen ähnlichen Wert reduzieren können. Der in Rust geschriebene Code der zugrundeliegenden Bibliothek von Broccoli steht auf Github zur Verfügung.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


arthurdont 06. Aug 2020

Gibt es tatsächlich ein Brotli-Protokoll oder ist das ein Übersetzungsfehler?

urkel 05. Aug 2020

Ging mir genau so, vielleicht ist die Überschrift ein bisschen unglücklich gewählt. Ich...

Hoerli 05. Aug 2020

Darauf jetzt erst einmal ein Steak!

Slartie 05. Aug 2020

Ach, das hätte ich mir auch gleich denken können! Wie immer, wenn man bei einem Golem...



Aktuell auf der Startseite von Golem.de
Lightning ade
EU will USB-C als alleinige Handy-Ladebuchse vorschreiben

Die EU-Kommission will eine einheitliche Ladebuchse einführen. USB-C soll zum Aufladen aller möglichen Kleingeräte verwendet werden.

Lightning ade: EU will USB-C als alleinige Handy-Ladebuchse vorschreiben
Artikel
  1. Computerspiele: Geniale Geheimtipps von Atomkraft bis Alltag
    Computerspiele
    Geniale Geheimtipps von Atomkraft bis Alltag

    Radioaktive Abenteuer in Chernobylite und der (vermeintliche) Alltag in The Last Stop: Golem.de stellt ungewöhnliche Spiele-Neuheiten vor.
    Von Rainer Sigl

  2. EPI Accelerator: Tests von europäischem RISC-V-Chip erfolgreich
    EPI Accelerator
    Tests von europäischem RISC-V-Chip erfolgreich

    Die European Processor Initiative (EPI) will einen eigenen Supercomputer erstellen. Die dafür designten RISC-V-Chips laufen nun erstmals.

  3. Malware: Mehrere Kliniken nach Hackerangriff vom Netz genommen
    Malware
    Mehrere Kliniken nach Hackerangriff vom Netz genommen

    Neben den Kliniken seien auch Bildungseinrichtungen von dem Malware-Angriff betroffen. Sicherheitshalber wird nun mit Papier und Stift gearbeitet.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 & Xbox Series X bestellbar • Alternate-Deals (u. a. Acer Nitro 27" FHD 159,90€) • Nintendo Switch OLED 359,99€ + Metroid Dread 411,98€ • Neuer Kindle Paperwhite Signature Edition vorbestellbar 189,99€ • Black Week bei NBB: Bis 50% Rabatt (u. a. MSI 31,5" Curved WQHD 165Hz 350€) [Werbung]
    •  /