• IT-Karriere:
  • Services:

Entwicklung: Facebook nutzt Btrfs-Schnappschüsse statt Repository-Clones

Auch Facebook hat Leistungsprobleme mit seinem riesigen Quellcode. Statt diesen zu klonen, setzt das Unternehmen auf ein Dateisystem.

Artikel veröffentlicht am ,
Facebook setzt intern viel auf das Dateisystem Btrfs.
Facebook setzt intern viel auf das Dateisystem Btrfs. (Bild: Alexander Koerner/Getty Images)

Ähnlich wie Microsoft oder Google pflegt auch der Social-Media-Betreiber Facebook seinen Quellcode in einer für alle Projekte einheitlichen Quelle - einem sogenannten Monorepository. Das führt wegen der riesigen Menge an Quellcode allerdings zu verschiedenen Leistungsproblemen, was das Team unter anderem durch die Nutzung des Dateisystems Btrfs umgeht. Das berichtete der Btrfs-Entwickler Josef Bacik in einem Vortrag, den das Magazin LWN.net zusammenfasst.

Stellenmarkt
  1. ifp ? Personalberatung Managementdiagnostik, Rheinland
  2. BSH Hausgeräte GmbH, Dillingen a.d.Donau

Demnach darf Code nicht direkt in das Repository eingepflegt werden. Vielmehr müssen erst eine Reihe von automatisierten Tests durchlaufen werden, für den der Quellcode eben auch für das Testsystem geklont werden muss. Dieser Vorgang sei jedoch so langsam gewesen, dass das zuständige Team nach Alternativen gesucht habe und deshalb Btrfs ausprobiert habe, sagte Bacik.

Statt also das Repository mit all seinen Dateien zu klonen, wird lediglich ein Btrfs-Schnappschuss erstellt. Die speziellen Eigenschaften des modernen Dateisystems ermöglichen damit also den Verzicht auf das tatsächliche Erstellen vieler bereits vorhandener Dateien an einem neuen Ort. Der Schnappschuss ist im Prinzip lediglich eine virtuelle Kopie, die auf die tatsächlichen Dateien verweist. Das Erstellen und Löschen des Code-Repositorys für die Tests ist laut Bacik so nahezu ohne Verzögerungen durchführbar.

Interessant ist diese Vorgehensweise mit Blick auf die eingangs erwähnten Unternehmen, die mit ähnlichen Problemen konfrontiert waren. So setzt etwa auch Microsoft auf Funktionen eines virtuellen Dateisystems, um den Clone-Vorgang zu beschleunigen, dabei aber eben nicht jedes Mal tatsächlichen den gesamten Quellcode kopieren zu müssen. Ein ähnliches Vorgehen, wie nun von Facebook berichtet.

Facebook nutzt das Linux-Dateisystem Btrfs darüber hinaus aber auch noch intensiv für sein eigenes Containersystem, mit dem sehr schnell Updates an den verschiedenen Dienste des Anbieters durchgeführt werden können. Die Technik nennt das Unternehmen Tupperware und hat sie bereits vor mehreren Jahren vorgestellt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Hardware-Angebote
  1. täglich neue Deals bei Alternate.de

camouflage 03. Jul 2020 / Themenstart

Nichts konnte Visual SourceSafe "damals" toppen! die betonung liegt auf...

Kommentieren


Folgen Sie uns
       


Streamen und Aufnehmen in OBS Studio - Tutorial

Wir erläutern in einem kurzen Video die Grundfunktionen von OBS-Studio.

Streamen und Aufnehmen in OBS Studio - Tutorial Video aufrufen
    •  /