• IT-Karriere:
  • Services:

Entwicklung: Facebook nutzt Btrfs-Schnappschüsse statt Repository-Clones

Auch Facebook hat Leistungsprobleme mit seinem riesigen Quellcode. Statt diesen zu klonen, setzt das Unternehmen auf ein Dateisystem.

Artikel veröffentlicht am ,
Facebook setzt intern viel auf das Dateisystem Btrfs.
Facebook setzt intern viel auf das Dateisystem Btrfs. (Bild: Alexander Koerner/Getty Images)

Ähnlich wie Microsoft oder Google pflegt auch der Social-Media-Betreiber Facebook seinen Quellcode in einer für alle Projekte einheitlichen Quelle - einem sogenannten Monorepository. Das führt wegen der riesigen Menge an Quellcode allerdings zu verschiedenen Leistungsproblemen, was das Team unter anderem durch die Nutzung des Dateisystems Btrfs umgeht. Das berichtete der Btrfs-Entwickler Josef Bacik in einem Vortrag, den das Magazin LWN.net zusammenfasst.

Stellenmarkt
  1. TARGOBANK AG & Co. KGaA, Duisburg
  2. astora GmbH, Kassel

Demnach darf Code nicht direkt in das Repository eingepflegt werden. Vielmehr müssen erst eine Reihe von automatisierten Tests durchlaufen werden, für den der Quellcode eben auch für das Testsystem geklont werden muss. Dieser Vorgang sei jedoch so langsam gewesen, dass das zuständige Team nach Alternativen gesucht habe und deshalb Btrfs ausprobiert habe, sagte Bacik.

Statt also das Repository mit all seinen Dateien zu klonen, wird lediglich ein Btrfs-Schnappschuss erstellt. Die speziellen Eigenschaften des modernen Dateisystems ermöglichen damit also den Verzicht auf das tatsächliche Erstellen vieler bereits vorhandener Dateien an einem neuen Ort. Der Schnappschuss ist im Prinzip lediglich eine virtuelle Kopie, die auf die tatsächlichen Dateien verweist. Das Erstellen und Löschen des Code-Repositorys für die Tests ist laut Bacik so nahezu ohne Verzögerungen durchführbar.

Interessant ist diese Vorgehensweise mit Blick auf die eingangs erwähnten Unternehmen, die mit ähnlichen Problemen konfrontiert waren. So setzt etwa auch Microsoft auf Funktionen eines virtuellen Dateisystems, um den Clone-Vorgang zu beschleunigen, dabei aber eben nicht jedes Mal tatsächlichen den gesamten Quellcode kopieren zu müssen. Ein ähnliches Vorgehen, wie nun von Facebook berichtet.

Golem Akademie
  1. IT-Sicherheit für Webentwickler
    31. Mai - 1. Juni 2021, online
  2. Advanced Python - Fortgeschrittene Programmierthemen
    3./4. Mai 2021, online
Weitere IT-Trainings

Facebook nutzt das Linux-Dateisystem Btrfs darüber hinaus aber auch noch intensiv für sein eigenes Containersystem, mit dem sehr schnell Updates an den verschiedenen Dienste des Anbieters durchgeführt werden können. Die Technik nennt das Unternehmen Tupperware und hat sie bereits vor mehreren Jahren vorgestellt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Top-Angebote
  1. 179€ (Bestpreis)
  2. (u. a. Rocketman für 8,99€, Ready Player One für 8,79€, Atomic Blondie für 9,49€)
  3. (u. a. EA Promo (u. a. Unravel für 8,99€, Anthem für 8,99€), Tiny and Big: Grandpa's...
  4. 709€ (Bestpreis)

camouflage 03. Jul 2020

Nichts konnte Visual SourceSafe "damals" toppen! die betonung liegt auf...


Folgen Sie uns
       


Knights of the Old Republic (2003) - Golem retro_

Diverse Auszeichnungen zum Spiel des Jahres, hohe Verkaufszahlen und Begeisterung nicht nur unter reinen Star-Wars-Anhängern - wir spielen Kotor im Golem retro_.

Knights of the Old Republic (2003) - Golem retro_ Video aufrufen
Programm für IT-Jobeinstieg: Hoffen auf den Klebeeffekt
Programm für IT-Jobeinstieg
Hoffen auf den Klebeeffekt

Aktuell ist der Jobeinstieg für junge Ingenieure und Informatiker schwer. Um ihnen zu helfen, hat das Land Baden-Württemberg eine interessante Idee: Es macht sich selbst zur Zeitarbeitsfirma.
Ein Bericht von Peter Ilg

  1. Arbeitszeit Das Sechs-Stunden-Experiment bei Sipgate
  2. Neuorientierung im IT-Job Endlich mal machen!
  3. IT-Unternehmen Die richtige Software für ein Projekt finden

Weclapp-CTO Ertan Özdil: Wir dürfen nicht in Schönheit und Perfektion untergehen!
Weclapp-CTO Ertan Özdil
"Wir dürfen nicht in Schönheit und Perfektion untergehen!"

Der CTO von Weclapp träumt von smarter Software, die menschliches Eingreifen in der nächsten ERP-Generation reduziert. Deutschen Perfektionismus hält Ertan Özdil aber für gefährlich.
Ein Interview von Maja Hoock


    Fiat 500 als E-Auto im Test: Kleinstwagen mit großem Potenzial
    Fiat 500 als E-Auto im Test
    Kleinstwagen mit großem Potenzial

    Fiat hat einen neuen 500er entwickelt. Der Kleine fährt elektrisch - und zwar richtig gut.
    Ein Test von Peter Ilg

    1. Vierradlenkung Elektrischer GMC Hummer SUV fährt im Krabbengang seitwärts
    2. MG Cyberster MG B Roadster mit Lasergürtel und Union Jack
    3. Elektroauto E-Auto-Prämie übersteigt in 2021 schon Vorjahressumme

      •  /