• IT-Karriere:
  • Services:

Kompression: Dropbox macht Brotli zu Broccoli

Zur Kompression synchronisierter Daten nutzt Dropbox nun eine leicht angepasste Version von Googles Brotli. Das Ergebnis heißt Broccoli.

Artikel veröffentlicht am ,
Dropbox setzt zur Kompression auf Broccoli.
Dropbox setzt zur Kompression auf Broccoli. (Bild: Steven Lilley/CC-BY-SA 2.0)

Der Anbieter zum Synchronisieren von Dateien hat seinen Kompressionsalgorithmus verändert, wie das Team in seinem Infrastruktur-Blog schreibt. Er setzt nun auf eine leicht abgewandelte Variante der Brotli-Technik. Brotli wurde erstmals im Jahr 2015 von Google als Alternative zu dem bisher sehr weit verbreiteten Gzip beziehungsweise Zlib vorgestellt und ist inzwischen ein Internetstandard. Auch Dropbox nutzt die Technik schon länger, hat diese nun aber erweitert.

Stellenmarkt
  1. Hays AG, Hamburg
  2. Arburg GmbH & Co. KG, Loßburg

Der Ankündigung zufolge dient Broccoli dazu, die gewünschten Dateien zu komprimieren, bevor diese synchronisiert und damit über das Netzwerk übertragen werden. Broccoli steht dabei für brot-cat-li mit Bezugnahme auf das Unix-Tool cat. Denn Dropbox komprimiert die Dateien nicht nur, sondern fügt diese zusätzlich auch zusammen. Mit der eigenen Implementierung sei Dropbox auch Dank Multithreading ungefähr dreimal so schnell wie Googles Brotli.

Für die Nutzung mehrerer Kerne mit Brotli müsse das Team einzelne Teile komprimieren (Chunks) und diese so zusammenfügen, dass eine valide Brotli-Ausgabe entstehe. Das Team habe jedoch eine Eigenschaft im Brotli-Protokoll entdeckt, die es mit leichten Änderungen erlaube, ganze Dateien nach der Kompression zusammenzufügen. Genau dieses System nutzt nun Broccoli. Weitere Details dazu liefert der Blogeintrag von Dropbox.

Die Nutzung anderer möglicher Kompressionsalgorithmen, wie auch das eigene Lepton-Format, hat Dropbox aus Leistungsgründen nicht umgesetzt. Diese hielten mit der Netzwerkgeschwindigkeit auf Client-Rechnern nicht mit. Die mit Broccoli umgesetzten Verbesserungen führen laut dem Anbieter im Mittel zu einer Reduktion der Latenzen um mehr als 30 Prozent. Die Menge der übertragenen Daten im Netz habe Dropbox um einen ähnlichen Wert reduzieren können. Der in Rust geschriebene Code der zugrundeliegenden Bibliothek von Broccoli steht auf Github zur Verfügung.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. (u. a. Sniper Ghost Warrior 3 - Season Pass Edition für 4,99€, Sherlock Holmes: The Devil's...
  2. 4,19€
  3. 17,99€

arthurdont 06. Aug 2020

Gibt es tatsächlich ein Brotli-Protokoll oder ist das ein Übersetzungsfehler?

urkel 05. Aug 2020

Ging mir genau so, vielleicht ist die Überschrift ein bisschen unglücklich gewählt. Ich...

Hoerli 05. Aug 2020

Darauf jetzt erst einmal ein Steak!

Slartie 05. Aug 2020

Ach, das hätte ich mir auch gleich denken können! Wie immer, wenn man bei einem Golem...


Folgen Sie uns
       


Gopro Hero 9 Black - Test

Ist eine Kamera mit zwei Displays auch doppelt so gut?

Gopro Hero 9 Black - Test Video aufrufen
Programm für IT-Jobeinstieg: Hoffen auf den Klebeeffekt
Programm für IT-Jobeinstieg
Hoffen auf den Klebeeffekt

Aktuell ist der Jobeinstieg für junge Ingenieure und Informatiker schwer. Um ihnen zu helfen, hat das Land Baden-Württemberg eine interessante Idee: Es macht sich selbst zur Zeitarbeitsfirma.
Ein Bericht von Peter Ilg

  1. Arbeitszeit Das Sechs-Stunden-Experiment bei Sipgate
  2. Neuorientierung im IT-Job Endlich mal machen!
  3. IT-Unternehmen Die richtige Software für ein Projekt finden

Weclapp-CTO Ertan Özdil: Wir dürfen nicht in Schönheit und Perfektion untergehen!
Weclapp-CTO Ertan Özdil
"Wir dürfen nicht in Schönheit und Perfektion untergehen!"

Der CTO von Weclapp träumt von smarter Software, die menschliches Eingreifen in der nächsten ERP-Generation reduziert. Deutschen Perfektionismus hält Ertan Özdil aber für gefährlich.
Ein Interview von Maja Hoock


    Fiat 500 als E-Auto im Test: Kleinstwagen mit großem Potenzial
    Fiat 500 als E-Auto im Test
    Kleinstwagen mit großem Potenzial

    Fiat hat einen neuen 500er entwickelt. Der Kleine fährt elektrisch - und zwar richtig gut.
    Ein Test von Peter Ilg

    1. Vierradlenkung Elektrischer GMC Hummer SUV fährt im Krabbengang seitwärts
    2. MG Cyberster MG B Roadster mit Lasergürtel und Union Jack
    3. Elektroauto E-Auto-Prämie übersteigt in 2021 schon Vorjahressumme

      •  /