Entwicklung: Facebook nutzt Btrfs-Schnappschüsse statt Repository-Clones

Auch Facebook hat Leistungsprobleme mit seinem riesigen Quellcode. Statt diesen zu klonen, setzt das Unternehmen auf ein Dateisystem.

Artikel veröffentlicht am ,
Facebook setzt intern viel auf das Dateisystem Btrfs.
Facebook setzt intern viel auf das Dateisystem Btrfs. (Bild: Alexander Koerner/Getty Images)

Ähnlich wie Microsoft oder Google pflegt auch der Social-Media-Betreiber Facebook seinen Quellcode in einer für alle Projekte einheitlichen Quelle - einem sogenannten Monorepository. Das führt wegen der riesigen Menge an Quellcode allerdings zu verschiedenen Leistungsproblemen, was das Team unter anderem durch die Nutzung des Dateisystems Btrfs umgeht. Das berichtete der Btrfs-Entwickler Josef Bacik in einem Vortrag, den das Magazin LWN.net zusammenfasst.

Stellenmarkt
  1. DevOps Software Engineer im Bereich Software Factory (m/w/d)
    Continental AG, Frankfurt
  2. Technischer Projektleiter (m/w/d) für Komfortelektronik
    KOSTAL Automobil Elektrik GmbH & Co. KG, Dortmund
Detailsuche

Demnach darf Code nicht direkt in das Repository eingepflegt werden. Vielmehr müssen erst eine Reihe von automatisierten Tests durchlaufen werden, für den der Quellcode eben auch für das Testsystem geklont werden muss. Dieser Vorgang sei jedoch so langsam gewesen, dass das zuständige Team nach Alternativen gesucht habe und deshalb Btrfs ausprobiert habe, sagte Bacik.

Statt also das Repository mit all seinen Dateien zu klonen, wird lediglich ein Btrfs-Schnappschuss erstellt. Die speziellen Eigenschaften des modernen Dateisystems ermöglichen damit also den Verzicht auf das tatsächliche Erstellen vieler bereits vorhandener Dateien an einem neuen Ort. Der Schnappschuss ist im Prinzip lediglich eine virtuelle Kopie, die auf die tatsächlichen Dateien verweist. Das Erstellen und Löschen des Code-Repositorys für die Tests ist laut Bacik so nahezu ohne Verzögerungen durchführbar.

Interessant ist diese Vorgehensweise mit Blick auf die eingangs erwähnten Unternehmen, die mit ähnlichen Problemen konfrontiert waren. So setzt etwa auch Microsoft auf Funktionen eines virtuellen Dateisystems, um den Clone-Vorgang zu beschleunigen, dabei aber eben nicht jedes Mal tatsächlichen den gesamten Quellcode kopieren zu müssen. Ein ähnliches Vorgehen, wie nun von Facebook berichtet.

Golem Karrierewelt
  1. CEH Certified Ethical Hacker v12: virtueller Fünf-Tage-Workshop
    30.01.-03.02.2023, Virtuell
  2. Adobe Premiere Pro Grundkurs: virtueller Zwei-Tage-Workshop
    19./20.01.2023, Virtuell
Weitere IT-Trainings

Facebook nutzt das Linux-Dateisystem Btrfs darüber hinaus aber auch noch intensiv für sein eigenes Containersystem, mit dem sehr schnell Updates an den verschiedenen Dienste des Anbieters durchgeführt werden können. Die Technik nennt das Unternehmen Tupperware und hat sie bereits vor mehreren Jahren vorgestellt.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Datenschutz und Microsoft 365
"Die Verantwortung für den Datenschutz liegt bei den Firmen"

Nach Ansicht der deutschen Datenschutzbehörden ist der Einsatz von Microsoft Office weiterhin datenschutzwidrig. Wie geht es nun weiter?
Ein Interview von Christiane Schulzki-Haddouti

Datenschutz und Microsoft 365: Die Verantwortung für den Datenschutz liegt bei den Firmen
Artikel
  1. Bundesarbeitsgericht: Arbeitgeber müssen Arbeitszeiten zwingend erfassen
    Bundesarbeitsgericht
    Arbeitgeber müssen Arbeitszeiten zwingend erfassen

    Das vollständige Urteil des BAG zur Arbeitszeiterfassung liegt nun vor. Diese muss zwingend erfolgen, aber nicht unbedingt elektronisch.

  2. Elektroauto: Toyota stellt BZ Compact SUV Concept vor
    Elektroauto
    Toyota stellt BZ Compact SUV Concept vor

    Toyota hat mit dem BZ Compact SUV Concept ein Elektroauto präsentiert, das zeigen soll, was Kunden künftig erwarten können.

  3. I am Jesus Christ angespielt: Der Jesus-Simulator lässt uns vom Glauben abfallen
    I am Jesus Christ angespielt
    Der Jesus-Simulator lässt uns vom Glauben abfallen

    Kein Scherz, keine geplante Gotteslästerung: In I am Jesus Christ treten wir als Heiland an. Golem.de hat den kostenlosen Prolog ausprobiert.
    Von Peter Steinlechner

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • NBB: Samsung Odyssey G5 WQHD/165 Hz 203,89€ u. Odyssey G9 49"/DQHD/240Hz 849,90€ • ViewSonic VX3258 WQHD/144 Hz 229,90€ • Elgato Cam Link Pro 146,89€ • Mindstar: Alphacool Eiswolf 2 AiO 360 199€ • Alternate: Tt eSPORTS Ventus X Plus 31,98€ • 4x Philips Hue White Ambiance 49,99€ [Werbung]
    •  /