Abo
  • Services:
Anzeige
RocksDB als Open Source veröffentlicht
RocksDB als Open Source veröffentlicht (Bild: Facebook)

RocksDB Weil Googles LevelDB für Facebook zu langsam ist

Facebook hat mit RocksDB eine einfache Embedded-Datenbank entwickelt. Sie basiert auf Googles LevelDB, die in ihrer Originalversion für Facebook zu langsam war, und soll für einen schnellen Zugriff auf lokale Daten sorgen, auch wenn diese nicht in den Arbeitsspeicher passen.

Anzeige

Jedem, der Facebook aufruft, wird eine persönliche Startseite angezeigt, die bei jedem Nutzer anders aussieht. Caching hilft dabei nicht weiter, so dass Facebook mit seinen mittlerweile 1,2 Milliarden Nutzern die Startseiten in Echtzeit aus einer großen Datenmenge von mehreren Petabyte zusammenstellen muss. Um das zu schaffen, versucht Facebook ständig, die dafür zur Verfügung stehenden Werkzeuge zu verbessern. Dabei ist RocksDB ein Embedded-Key-Value-Store, der seit einigen Tagen quelloffen zur Verfügung steht.

Zehnmal schneller als LevelDB

Ausgangspunkt für RocksDB war Googles Embedded-Datenbank LevelDB, die sich in Facebooks Tests aber als zu langsam erwies. RocksDB ist eine C++-Bibliothek, die sich in bestehende Applikationen einbetten lässt. Daten liegen dabei lokal auf dem gleichen System vor, auf dem auch die Applikation läuft. Das soll für schnellere Antwortzeiten sorgen, verglichen mit Systemen, bei denen die Applikation über das Netzwerk auf die Datenbank zugreift. Dabei setzt Facebook ganz bewusst auf schnellen Flash-Speicher und Systeme mit vielen CPU-Kernen, um auch Datenmengen auf einem System zu halten, die nicht in den Arbeitsspeicher passen.

Das Verhindern von Locks und die Vermeidung zu vieler Context-Wechsel soll darüber hinaus für hohe Geschwindigkeit sorgen, so dass RocksDB in der Lage ist, schnellen Flash-Speicher auszureizen, um auf einem System mehr als 1 Million IOPS zu erreichen. Im Vergleich zu LevelDB soll RocksDB beim Schreiben zufälliger Daten rund zehnmal schneller sein, bei zufälligen Lesezugriffen rund 30 Prozent schneller.

Maximale Leistung auf einer Maschine

Dabei setzt Facebook auf eine flexible Architektur, die es erlaubt, einzelne Komponenten auszutauschen, ohne an den übrigen Komponenten von RocksDB etwas zu verändern. So lassen sich beispielsweise verschiedene Kompressionsbibliotheken wie Snappy, zlib oder bzip verwenden und auch neue leicht testen. Auch lassen sich eigene Compaction-Filter einsetzen, was Facebook selbst nutzt, um Daten nach Ablauf einer bestimmten Frist zu löschen.

So soll sich RocksDB letztendlich für IO-limitierte Workloads ebenso eignen wie für In-Memory-Datenbanken als auch solche, bei denen Daten nur einmal geschrieben, aber oft gelesen werden. Unter IO-limitierten Workloads versteht Facebook solche, bei denen die Daten nicht in den Arbeitsspeicher passen und oft aus dem Storage gelesen werden müssen.

RocksDB ist ausdrücklich keine verteilte Datenbank, sondern darauf ausgerichtet, auf einer einzelnen Maschine maximale Leistung zu bringen.

Facebook hat RocksDB auf Github im Quellcode veröffentlicht. Weitere Details zu RocksDB finden sich unter rocksdb.org.


eye home zur Startseite
dabbes 27. Nov 2013

https://github.com/facebook/rocksdb/wiki/Rocksdb-Architecture-Guide#persistency



Anzeige

Stellenmarkt
  1. Haufe Group, Freiburg im Breisgau
  2. Kreativagentur 1punkt7 GmbH & Co. KG, Berlin, Neubrandenburg
  3. expert SE, Langenhagen
  4. KRATZER AUTOMATION AG, Unterschleißheim bei Mün­chen


Anzeige
Blu-ray-Angebote
  1. (u. a. Hobbit Trilogie Blu-ray 43,89€ und Batman Dark Knight Trilogy Blu-ray 17,99€)
  2. 74,99€ (Vorbesteller-Preisgarantie)
  3. (u. a. Drive 7,79€, John Wick: Kapitel 2 9,99€ und Predator Collection 17,49€)

Folgen Sie uns
       


  1. Autonomes Fahren

    Singapur kündigt fahrerlose Busse an

  2. Coinhive

    Kryptominingskript in Chat-Widget entdeckt

  3. Monster Hunter World angespielt

    Die Nahrungskettensimulation

  4. Rechtsunsicherheit bei Cookies

    EU warnt vor Verzögerung von ePrivacy-Verordnung

  5. Schleswig-Holstein

    Bundesland hat bereits 32 Prozent echte Glasfaserabdeckung

  6. Tesla Semi

    Teslas Truck gibt es ab 150.000 US-Dollar

  7. Mobilfunk

    Netzqualität in der Bahn weiter nicht ausreichend

  8. Bake in Space

    Bloß keine Krümel auf der ISS

  9. Sicherheitslücke

    Fortinet vergisst, Admin-Passwort zu prüfen

  10. Angry Birds

    Rovio verbucht Quartalsverlust nach Börsenstart



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Montagewerk in Tilburg: Wo Tesla seine E-Autos für Europa produziert
Montagewerk in Tilburg
Wo Tesla seine E-Autos für Europa produziert
  1. Elektroauto Walmart will den Tesla-Truck
  2. Elektrosportwagen Tesla Roadster 2 beschleunigt in 2 Sekunden auf Tempo 100
  3. Elektromobilität Tesla Truck soll in 30 Minuten 630 km Reichweite laden

Fitbit Ionic im Test: Die (noch) nicht ganz so smarte Sportuhr
Fitbit Ionic im Test
Die (noch) nicht ganz so smarte Sportuhr
  1. Verbraucherschutz Sportuhr-Hersteller gehen unsportlich mit Daten um
  2. Wii Remote Nintendo muss 10 Millionen US-Dollar in Patentstreit zahlen
  3. Ionic Fitbit stellt Smartwatch mit Vier-Tage-Akku vor

E-Golf im Praxistest: Und lädt und lädt und lädt
E-Golf im Praxistest
Und lädt und lädt und lädt
  1. Garmin Vivoactive 3 im Test Bananaware fürs Handgelenk
  2. Microsoft Sonar überprüft kostenlos Webseiten auf Fehler
  3. Inspiron 5675 im Test Dells Ryzen-Gaming-PC reicht mindestens bis 2020

  1. Re: Wer übernimmt die Kosten?

    Cyber | 03:10

  2. Re: Überleben durch Anzahlungen

    DAUVersteher | 02:51

  3. Re: 850 Fachverfahren

    Cok3.Zer0 | 02:31

  4. Re: Nicht jammern, sondern machen

    Cok3.Zer0 | 02:19

  5. Re: Wieder mit veraltetem Betriebssystem?

    Cok3.Zer0 | 02:07


  1. 17:56

  2. 15:50

  3. 15:32

  4. 14:52

  5. 14:43

  6. 12:50

  7. 12:35

  8. 12:00


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel