• IT-Karriere:
  • Services:

Streaming: Bei 1 PByte reicht Bigtable nicht mehr für Spotify

Mit Googles Cloud-Datenbank Bigtable sollen sich schnell riesige Datenmengen verarbeiten lassen. Spotify setzt aber auf etwas Eigenes.

Artikel veröffentlicht am ,
Spotify verzichtet nach fast fünf Jahren auf Bigtable.
Spotify verzichtet nach fast fünf Jahren auf Bigtable. (Bild: Joe Scarnici/Getty Images for Spotify)

Zum Ende jedes Jahres erstellt Spotify einen individuellen Jahresrückblick für die Nutzer seines Audio-Streamingangebots und hat dabei erstmals auf Googles Bigtable verzichtet. Die Datenbank ist eigentlich für die Verarbeitung extrem großer Datenmengen gedacht. Wie das Team von Spotify in seinem Engineering-Blog schreibt, seien diesmal aber auch ohne Bigtable rund 1 PByte an Daten zusammengeführt worden.

Stellenmarkt
  1. Deutscher Genossenschafts-Verlag eG, Wiesbaden
  2. GK Software SE, Hamburg, St. Ingbert

Die Kosten für den Datenfluss seien dabei im Vergleich zu der Umsetzung mit Bigtable aus dem Vorjahr um 50 Prozent zurückgegangen. Auch das Skalieren der Bigtable-Cluster zu ihrer sonst zwei- bis dreifachen Größe zum Verarbeiten der riesigen Datenmengen sei nicht nötig gewesen, was ebenfalls massive Einsparungen bedeute. Spotify setzte seit fast fünf Jahren auf die Google Cloud und Bigtable.

Um auf Bigtable zu verzichten, nutzt Spotify eine Technik, die Sort Merge Bucket (SMB) genannt wird und bei Spotify intern als Teil einer Masterarbeit entstand. Die grundlegende Idee dabei ist, Daten so zu speichern, dass diese beim Zusammenführen für Auswertungen möglichst wenig bis gar nicht neu sortiert oder verschoben werden müssen.

Daten einfacher zusammenführen

In der SMB-Dokumentation heißt es, es handle sich um "eine Technik zum Schreiben von Daten in das Dateisystem an deterministischen Orten, die nach einem vordefinierten Schlüssel sortiert sind, damit sie später als Gruppen mit gleichem Schlüssel eingelesen werden können (...). Da jedem Element ein Dateiziel (Bucket) zugewiesen wird, das auf einem Hash seines Schlüssels basiert, können wir mit derselben Technik mehrere Quellen gruppieren, solange sie mit demselben Schlüssel und demselben Hashing-Schema geschrieben werden."

Die Schlüssel sind im Falle von Spotify etwa die User-ID, Nutzermetadaten oder auch Events eines einzelnen Nutzers. Mit SMB sollen sich dazugehörige Daten aus verschiedenen Quellen schnell zusammenführen und anschließend verarbeiten lassen. Genau das, was Spotify für die individuellen Jahresrückblicke braucht.

Im vergangenen Jahr hat der Streaminganbieter immer mehr auf SMB gesetzt, die Idee an vielen Stellen für den produktiven Einsatz erweitert und vor allem die eigentlichen Datenquellen auf das neue Format umgestellt. Für die Jahresauswertung hat das Team erst die Daten der einzelnen Wochen und danach wiederum die Wochenauswertungen zusammengeführt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Hardware-Angebote
  1. (u. a. ASUS Radeon RX 6900 XT TUF GAMING OC 16GB für 1.729€)

euroregistrar 15. Feb 2021 / Themenstart

Gar nicht. Wollte nur zeigen, dass 1pb nicht viel ist. Es ist auch unser Speicherplatz...

crew 12. Feb 2021 / Themenstart

"Reicht nicht mehr"??

JouMxyzptlk 12. Feb 2021 / Themenstart

...man muss damit auch umgehen können" Fehlt nur noch eine hübsche Grafik welche das...

Kommentieren


Folgen Sie uns
       


Immortals Fenyx Rising - Fazit

Im Video zeigt Golem.de das Actionspiel Immortals Fenyx Rising.

Immortals Fenyx Rising - Fazit Video aufrufen
Börse: Was zur Hölle ist ein SPAC?
Börse
Was zur Hölle ist ein SPAC?

SPACs sind die neue Modewelle an der Börse: Firmen, die es eigentlich nicht könnten, gehen unter dem Mantel einer anderen Firma an die Börse. Golem.de hat unter den Mantel geschaut.
Eine Analyse von Achim Sawall

  1. Wallstreetbets Trade Republic entschuldigt sich für Probleme mit Gamestop
  2. Tokyo Stock Exchange Hardware-Ausfall legte Tokioter Börse lahm

Summit Lite im Test: Auch Montblancs günstige Smartwatch ist zu teuer
Summit Lite im Test
Auch Montblancs "günstige" Smartwatch ist zu teuer

Montblancs Summit Lite ist eine Smartwatch für Fitnessbegeisterte, die nach echter Uhr aussieht. Den Preis halten wir trotz hervorragender Verarbeitung für zu hoch.
Ein Test von Tobias Költzsch

  1. Soziales Netzwerk Bei Facebook entsteht eine Smartwatch im Geheimen
  2. Wearable Amazfit bringt kompakte Smartwatch für 100 Euro
  3. T-Touch Connect Solar Tissots Smartwatch ab 935 Euro in Deutschland verfügbar

Razer Huntsman V2 Analog im Test: Die Gamepad-Tastatur
Razer Huntsman V2 Analog im Test
Die Gamepad-Tastatur

Spielen mit Gamepad oder Keyboard - warum eigentlich nicht mit beidem? Mit Razers neuer Tastatur legen wir Analogsticks auf WSAD.
Ein Test von Oliver Nickel

  1. HyperX x Ducky One 2 Mini im Test Kompakt, leuchtstark, limitiert
  2. Keyboardio Atreus im Test Die Tastatur für platzbewusste Ergonomiker
  3. Nemeio Tastatur mit E-Paper-Tasten ist finanziert

    •  /