• IT-Karriere:
  • Services:

RocksDB: Weil Googles LevelDB für Facebook zu langsam ist

Facebook hat mit RocksDB eine einfache Embedded-Datenbank entwickelt. Sie basiert auf Googles LevelDB, die in ihrer Originalversion für Facebook zu langsam war, und soll für einen schnellen Zugriff auf lokale Daten sorgen, auch wenn diese nicht in den Arbeitsspeicher passen.

Artikel veröffentlicht am ,
RocksDB als Open Source veröffentlicht
RocksDB als Open Source veröffentlicht (Bild: Facebook)

Jedem, der Facebook aufruft, wird eine persönliche Startseite angezeigt, die bei jedem Nutzer anders aussieht. Caching hilft dabei nicht weiter, so dass Facebook mit seinen mittlerweile 1,2 Milliarden Nutzern die Startseiten in Echtzeit aus einer großen Datenmenge von mehreren Petabyte zusammenstellen muss. Um das zu schaffen, versucht Facebook ständig, die dafür zur Verfügung stehenden Werkzeuge zu verbessern. Dabei ist RocksDB ein Embedded-Key-Value-Store, der seit einigen Tagen quelloffen zur Verfügung steht.

Zehnmal schneller als LevelDB

Stellenmarkt
  1. Thyssengas GmbH, Dortmund
  2. Universitätsklinikum Münster, Münster

Ausgangspunkt für RocksDB war Googles Embedded-Datenbank LevelDB, die sich in Facebooks Tests aber als zu langsam erwies. RocksDB ist eine C++-Bibliothek, die sich in bestehende Applikationen einbetten lässt. Daten liegen dabei lokal auf dem gleichen System vor, auf dem auch die Applikation läuft. Das soll für schnellere Antwortzeiten sorgen, verglichen mit Systemen, bei denen die Applikation über das Netzwerk auf die Datenbank zugreift. Dabei setzt Facebook ganz bewusst auf schnellen Flash-Speicher und Systeme mit vielen CPU-Kernen, um auch Datenmengen auf einem System zu halten, die nicht in den Arbeitsspeicher passen.

Das Verhindern von Locks und die Vermeidung zu vieler Context-Wechsel soll darüber hinaus für hohe Geschwindigkeit sorgen, so dass RocksDB in der Lage ist, schnellen Flash-Speicher auszureizen, um auf einem System mehr als 1 Million IOPS zu erreichen. Im Vergleich zu LevelDB soll RocksDB beim Schreiben zufälliger Daten rund zehnmal schneller sein, bei zufälligen Lesezugriffen rund 30 Prozent schneller.

Maximale Leistung auf einer Maschine

Dabei setzt Facebook auf eine flexible Architektur, die es erlaubt, einzelne Komponenten auszutauschen, ohne an den übrigen Komponenten von RocksDB etwas zu verändern. So lassen sich beispielsweise verschiedene Kompressionsbibliotheken wie Snappy, zlib oder bzip verwenden und auch neue leicht testen. Auch lassen sich eigene Compaction-Filter einsetzen, was Facebook selbst nutzt, um Daten nach Ablauf einer bestimmten Frist zu löschen.

So soll sich RocksDB letztendlich für IO-limitierte Workloads ebenso eignen wie für In-Memory-Datenbanken als auch solche, bei denen Daten nur einmal geschrieben, aber oft gelesen werden. Unter IO-limitierten Workloads versteht Facebook solche, bei denen die Daten nicht in den Arbeitsspeicher passen und oft aus dem Storage gelesen werden müssen.

RocksDB ist ausdrücklich keine verteilte Datenbank, sondern darauf ausgerichtet, auf einer einzelnen Maschine maximale Leistung zu bringen.

Facebook hat RocksDB auf Github im Quellcode veröffentlicht. Weitere Details zu RocksDB finden sich unter rocksdb.org.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Hardware-Angebote
  1. täglich neue Deals bei Alternate.de
  2. 299,00€ (Bestpreis! zzgl. Versand)

dabbes 27. Nov 2013

https://github.com/facebook/rocksdb/wiki/Rocksdb-Architecture-Guide#persistency


Folgen Sie uns
       


Death Stranding - Fazit

Das Actionspiel Death Stranding schickt uns in eine düstere Welt voller Gefahren - und langer Wanderungen. Das aktuelle Werk von Stardesigner Hideo Kojima erscheint für Playstation 4 und Mitte 2020 für Windows-PC.

Death Stranding - Fazit Video aufrufen
Interview: Die Liebe für den Flight Simulator war immer da
Interview
"Die Liebe für den Flight Simulator war immer da"

Die prozedural erstellte Erde, der Quellcode vom letzten MS-Flugsimulator und eine Gemeinsamkeit mit Star Citizen: Golem.de hat mit Jörg Neumann über Technik und das Fliegen gesprochen. Neumann leitet bei Microsoft die Entwicklung des Flight Simulator.
Ein Interview von Peter Steinlechner

  1. Flug-Simulation Microsoft bereitet Alphatest des Flight Simulator vor
  2. Microsoft Neuer Flight Simulator soll Fokus auf Simulation legen

Smarter Akku-Lautsprecher im Praxistest: Bose zeigt Sonos, wie es geht
Smarter Akku-Lautsprecher im Praxistest
Bose zeigt Sonos, wie es geht

Der Portable Home Speaker ist Boses erster smarter Lautsprecher mit Akkubetrieb. Aus dem kompakten Gehäuse wird ein toller Klang und eine lange Akkulaufzeit geholt. Er kann anders als der Sonos Move sinnvoll als smarter Lautsprecher verwendet werden. Ganz ohne Schwächen ist er aber nicht.
Ein Praxistest von Ingo Pakalski

  1. ANC-Kopfhörer Bose macht die Noise Cancelling Headphones 700 besser
  2. Anti-Schnarch-Kopfhörer Bose stellt Sleepbuds wegen Qualitätsmängeln ein
  3. Noise Cancelling Headphones 700 im Test Boses bester ANC-Kopfhörer sticht Sony vielfach aus

Macbook Pro 16 Zoll im Test: Ein Schritt zurück sind zwei Schritte nach vorn
Macbook Pro 16 Zoll im Test
Ein Schritt zurück sind zwei Schritte nach vorn

Keine Butterfly-Tastatur mehr, eine physische Escape-Taste, dünnere Displayränder: Es scheint, als habe Apple beim Macbook Pro 16 doch auf das Feedback der Nutzer gehört und ist einen Schritt zurückgegangen. Golem.de hat sich angeschaut, ob sich die Änderungen auch lohnen.
Ein Test von Oliver Nickel

  1. Audioprobleme Knackgeräusche beim neuen Macbook Pro 16 Zoll
  2. iFixit Kleber und Nieten im neuen Macbook Pro 16 Zoll
  3. Macbook Pro Apple gibt fehlerhafte Butterfly-Tastatur auf

    •  /