Kompression: Dropbox macht Brotli zu Broccoli

Zur Kompression synchronisierter Daten nutzt Dropbox nun eine leicht angepasste Version von Googles Brotli. Das Ergebnis heißt Broccoli.

Artikel veröffentlicht am ,
Dropbox setzt zur Kompression auf Broccoli.
Dropbox setzt zur Kompression auf Broccoli. (Bild: Steven Lilley/CC-BY-SA 2.0)

Der Anbieter zum Synchronisieren von Dateien hat seinen Kompressionsalgorithmus verändert, wie das Team in seinem Infrastruktur-Blog schreibt. Er setzt nun auf eine leicht abgewandelte Variante der Brotli-Technik. Brotli wurde erstmals im Jahr 2015 von Google als Alternative zu dem bisher sehr weit verbreiteten Gzip beziehungsweise Zlib vorgestellt und ist inzwischen ein Internetstandard. Auch Dropbox nutzt die Technik schon länger, hat diese nun aber erweitert.

Stellenmarkt
  1. Project Manager & Product Owner MES (m/w/d)
    Dr. August Oetker Nahrungsmittel KG, Bielefeld
  2. Data Engineer (d/m/w)
    NÜRNBERGER Versicherung, Nürnberg
Detailsuche

Der Ankündigung zufolge dient Broccoli dazu, die gewünschten Dateien zu komprimieren, bevor diese synchronisiert und damit über das Netzwerk übertragen werden. Broccoli steht dabei für brot-cat-li mit Bezugnahme auf das Unix-Tool cat. Denn Dropbox komprimiert die Dateien nicht nur, sondern fügt diese zusätzlich auch zusammen. Mit der eigenen Implementierung sei Dropbox auch Dank Multithreading ungefähr dreimal so schnell wie Googles Brotli.

Für die Nutzung mehrerer Kerne mit Brotli müsse das Team einzelne Teile komprimieren (Chunks) und diese so zusammenfügen, dass eine valide Brotli-Ausgabe entstehe. Das Team habe jedoch eine Eigenschaft im Brotli-Protokoll entdeckt, die es mit leichten Änderungen erlaube, ganze Dateien nach der Kompression zusammenzufügen. Genau dieses System nutzt nun Broccoli. Weitere Details dazu liefert der Blogeintrag von Dropbox.

Die Nutzung anderer möglicher Kompressionsalgorithmen, wie auch das eigene Lepton-Format, hat Dropbox aus Leistungsgründen nicht umgesetzt. Diese hielten mit der Netzwerkgeschwindigkeit auf Client-Rechnern nicht mit. Die mit Broccoli umgesetzten Verbesserungen führen laut dem Anbieter im Mittel zu einer Reduktion der Latenzen um mehr als 30 Prozent. Die Menge der übertragenen Daten im Netz habe Dropbox um einen ähnlichen Wert reduzieren können. Der in Rust geschriebene Code der zugrundeliegenden Bibliothek von Broccoli steht auf Github zur Verfügung.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


arthurdont 06. Aug 2020

Gibt es tatsächlich ein Brotli-Protokoll oder ist das ein Übersetzungsfehler?

urkel 05. Aug 2020

Ging mir genau so, vielleicht ist die Überschrift ein bisschen unglücklich gewählt. Ich...

Hoerli 05. Aug 2020

Darauf jetzt erst einmal ein Steak!

Slartie 05. Aug 2020

Ach, das hätte ich mir auch gleich denken können! Wie immer, wenn man bei einem Golem...



Aktuell auf der Startseite von Golem.de
Feldversuch E-Mobility-Chaussee
So schnell bringen E-Autos das Stromnetz ans Limit

Das Laden von Elektroautos stellt Netzbetreiber auf dem Land vor besondere Herausforderungen. Ein Pilotprojekt hat verschiedene Lösungen getestet.
Ein Bericht von Friedhelm Greis

Feldversuch E-Mobility-Chaussee: So schnell bringen E-Autos das Stromnetz ans Limit
Artikel
  1. Encrochat-Hack: Damit würde man keinen Geschwindigkeitsverstoß verurteilen
    Encrochat-Hack
    "Damit würde man keinen Geschwindigkeitsverstoß verurteilen"

    Der Anwalt Johannes Eisenberg hat sich die Daten aus dem Encrochat-Hack genauer angesehen und viel Merkwürdiges entdeckt.
    Ein Interview von Moritz Tremmel

  2. Geforce Now (RTX 3080) im Test: 1440p120 mit Raytracing aus der Cloud
    Geforce Now (RTX 3080) im Test
    1440p120 mit Raytracing aus der Cloud

    Höhere Auflösung, mehr Bilder pro Sekunde, kürzere Latenzen: Geforce Now mit virtueller Geforce RTX 3080 ist Cloud-Gaming par excellence.
    Ein Test von Marc Sauter

  3. SpaceX: Starlink testet Satelliteninternet in Flugzeugen
    SpaceX
    Starlink testet Satelliteninternet in Flugzeugen

    Bald dürften mehrere Flugesellschaften Starlink-Service anbieten. Laut einem Manager soll es so schnell wie möglich gehen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Gaming-Monitore zu Bestpreisen (u. a. Samsung G9 49" 32:9 Curved QLED 240Hz 1.149€) • Spiele günstiger: PC, PS5, Xbox, Switch • Zurück in die Zukunft Trilogie 4K 31,97€ • be quiet 750W-PC-Netzteil 87,90€ • Cambridge Audio Melomonia Touch 89,95€ • Gaming-Stühle zu Bestpreisen [Werbung]
    •  /