Kompression: Dropbox macht Brotli zu Broccoli

Zur Kompression synchronisierter Daten nutzt Dropbox nun eine leicht angepasste Version von Googles Brotli. Das Ergebnis heißt Broccoli.

Artikel veröffentlicht am ,
Dropbox setzt zur Kompression auf Broccoli.
Dropbox setzt zur Kompression auf Broccoli. (Bild: Steven Lilley/CC-BY-SA 2.0)

Der Anbieter zum Synchronisieren von Dateien hat seinen Kompressionsalgorithmus verändert, wie das Team in seinem Infrastruktur-Blog schreibt. Er setzt nun auf eine leicht abgewandelte Variante der Brotli-Technik. Brotli wurde erstmals im Jahr 2015 von Google als Alternative zu dem bisher sehr weit verbreiteten Gzip beziehungsweise Zlib vorgestellt und ist inzwischen ein Internetstandard. Auch Dropbox nutzt die Technik schon länger, hat diese nun aber erweitert.

Stellenmarkt
  1. IT-Projektleiter (m/w/d)
    STEMMER IMAGING AG, Puchheim bei München
  2. Product Owner touristische Backend Systeme (m/w/d)
    ADAC e.V., München
Detailsuche

Der Ankündigung zufolge dient Broccoli dazu, die gewünschten Dateien zu komprimieren, bevor diese synchronisiert und damit über das Netzwerk übertragen werden. Broccoli steht dabei für brot-cat-li mit Bezugnahme auf das Unix-Tool cat. Denn Dropbox komprimiert die Dateien nicht nur, sondern fügt diese zusätzlich auch zusammen. Mit der eigenen Implementierung sei Dropbox auch Dank Multithreading ungefähr dreimal so schnell wie Googles Brotli.

Für die Nutzung mehrerer Kerne mit Brotli müsse das Team einzelne Teile komprimieren (Chunks) und diese so zusammenfügen, dass eine valide Brotli-Ausgabe entstehe. Das Team habe jedoch eine Eigenschaft im Brotli-Protokoll entdeckt, die es mit leichten Änderungen erlaube, ganze Dateien nach der Kompression zusammenzufügen. Genau dieses System nutzt nun Broccoli. Weitere Details dazu liefert der Blogeintrag von Dropbox.

Die Nutzung anderer möglicher Kompressionsalgorithmen, wie auch das eigene Lepton-Format, hat Dropbox aus Leistungsgründen nicht umgesetzt. Diese hielten mit der Netzwerkgeschwindigkeit auf Client-Rechnern nicht mit. Die mit Broccoli umgesetzten Verbesserungen führen laut dem Anbieter im Mittel zu einer Reduktion der Latenzen um mehr als 30 Prozent. Die Menge der übertragenen Daten im Netz habe Dropbox um einen ähnlichen Wert reduzieren können. Der in Rust geschriebene Code der zugrundeliegenden Bibliothek von Broccoli steht auf Github zur Verfügung.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


arthurdont 06. Aug 2020

Gibt es tatsächlich ein Brotli-Protokoll oder ist das ein Übersetzungsfehler?

urkel 05. Aug 2020

Ging mir genau so, vielleicht ist die Überschrift ein bisschen unglücklich gewählt. Ich...

Hoerli 05. Aug 2020

Darauf jetzt erst einmal ein Steak!

Slartie 05. Aug 2020

Ach, das hätte ich mir auch gleich denken können! Wie immer, wenn man bei einem Golem...



Aktuell auf der Startseite von Golem.de
Urheberrechtsverletzung
US-Marine muss Strafe an deutsche Firma bezahlen

Noch während der Lizenzverhandlungen installierte die US-Marine eine Software auf über 500.000 Rechnern. Sechs Jahre später muss sie dafür bezahlen.

Urheberrechtsverletzung: US-Marine muss Strafe an deutsche Firma bezahlen
Artikel
  1. Karmesin und Purpur: Nintendo entschuldigt sich für Probleme mit Pokémon
    Karmesin und Purpur
    Nintendo entschuldigt sich für Probleme mit Pokémon

    Schwache Grafik und trotzdem Ruckler: Viele Spieler ärgern sich über den technischen Zustand von Pokémon Karmesin/Purpur.

  2. Bayern: Arbeitszeit von mehr als 10 Stunden am Tag gefordert
    Bayern
    Arbeitszeit von mehr als 10 Stunden am Tag gefordert

    Die bayerische Arbeitsministerin plädiert für mehr Flexibilität am Arbeitsplatz und will mehr als zehn Stunden Arbeit pro Tag erlauben.

  3. EuGH: Google legt erneut Einspruch gegen Milliardenstrafe ein
    EuGH
    Google legt erneut Einspruch gegen Milliardenstrafe ein

    Google will keine 4,125 Milliarden Euro zahlen und zieht mit dem Fall vor den Europäischen Gerichthof. Es geht um Android.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PS5 jetzt bestellbar • LG OLED TV (2022) 55" 120Hz 949€ • Mindstar: Geforce RTX 4080 1.449€ • Tiefstpreise: G.Skill 32GB Kitt DDR5-7200 • 351,99€ Crucial SSD 4TB 319€, HTC Vive Pro 2 659€ • Samsung Cyber Week • Top-TVs (2022) LG & Samsung über 40% günstiger [Werbung]
    •  /