• IT-Karriere:
  • Services:

Wie Facebook die Daten von 300 Millionen Nutzern verkraftet

Durch solche und weitere Optimierungen sei es gelungen, die Zahl der physischen I/O-Zugriffe pro ausgeliefertem Bild von rund 10 auf rund 3 zu senken. Letztendlich aber entwickelte Facebook mit Haystack ein eigenes Open-Source-Dateisystem zum Speichern großer Bildermengen, das pro ausgeliefertem Bild nur noch einen I/O-Zugriff benötigt. So sei es nun möglich, rund viermal mehr Bilder mit der gleichen Hardware auszuliefern.

PHP für die Webserver

Stellenmarkt
  1. GRUNER AG, Wehingen
  2. BAM Bundesanstalt für Materialforschung und -prüfung, Berlin

Die grundlegende Architektur der Facebook-Plattform gliedert sich in drei Schichten: ein Loadbalancer reicht Daten an Webserver weiter, die ihrerseits auf Dienste, Memcached und Datenbanken zugreifen. Bei den Webservern setze Facebook auf PHP als Scriptsprache, da PHP leicht zu lernen, zu programmieren und debuggen sei. Dem stehen hohen Runtimekosten gegenüber, denn PHP brauche viel Speicher und Rechenzeit. Zudem sei die Verbindung mit C++ eine Herausforderung und bei großer Codemenge werfe PHP gewisse organisatorische Probleme auf. Auch mache neuer Code alten langsamer, selbst wenn dieser in keinem Zusammenhang stehe, da der Initialisierungsaufwand, der bei jeder Anfrage anfällt, steige.

Um dem entgegen zu wirken, hat Facebook einige Optimierungen vorgenommen und beispielsweise den APC (Advanced PHP Cache) um Lazy-Loading, Cache-Priming und effizientere Locking-Funktionen erweitert. Zudem wurde eine eigene Memcached-Client-Erweiterung sowie Mechanismen zum asynchronen Event-Handling geschrieben. Derzeit arbeitet Facebook an einem Compiler, der PHP in C++ umsetzt, um daraus hoch optimierte ausführbare Dateien zu machen.

Die Webserver greifen auf Backendsysteme zurück, die in aller Regel in C++ implementiert werden, nutzen aber auch andere Sprachen wie Python, Ruby oder Erlang - je nachdem, welche für die aktuelle Aufgabe am besten geeignet ist. Facebooks Suchdienst ein solches Beispiel.

25 TByte Logfiles pro Tag

Ein weiteres Backendsystem ist Scribe, mit dem Facebook seine große Menge an Logfiledaten verarbeitet, denn täglich fallen rund 25 TByte an Logfiles auf den Servern an, die chronologisch konsolidiert werden müssen. Letztendlich verarbeitet ein Hadoop-Cluster mit rund 1.000 Nodes die Daten und erlaubt Analysen des Nutzerverhaltens, um herauszufinden, wie neue Funktionen von Nutzern verwendet werden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed
 Wie Facebook die Daten von 300 Millionen Nutzern verkraftetWie Facebook die Daten von 300 Millionen Nutzern verkraftet 
  1.  
  2. 1
  3. 2
  4. 3
  5.  


Anzeige
Top-Angebote
  1. 1.789€
  2. (u. a. PNY GeForce RTX3090 XLR8 Gaming EPIC-X RGB P 24 GB Enthusiast für 1.899€)
  3. (u. a. Gigabyte Geforce RTX 3090 Eagle OC 24G 24.576 MB GDDR6X für 1.499€, Zotac Gaming GeForce...

........... 03. Feb 2010

Eins wird da wohl völlig reichen und selbst dann haste noch etliche Ressourcen frei um...

Michael 76 27. Okt 2009

Schon gewusst, Facebook setzt MySQL gar nicht als relationale Datenbank ein. MySQL dient...

gyko 27. Okt 2009

Da ich grad an der UCSD studiere, konnte mir das das anhören. Kann jedem Technik...

Michael 76 27. Okt 2009

Dir ist aber schon klar, das Abmelden nicht gleich löschen heisst. Meist werden deine...

Michael 76 27. Okt 2009

Für alle dies es nicht wissen sollten !!! Facebook setzt nur auf der Webtierschicht PHP...


Folgen Sie uns
       


MX Anywhere 3 im Test: Logitechs flache Maus bietet viel Komfort
MX Anywhere 3 im Test
Logitechs flache Maus bietet viel Komfort

Die MX Anywhere 3 gefällt uns etwas besser als Logitechs älteres Mausmodell, das gilt aber nicht für jeden Einsatzzweck.
Ein Test von Ingo Pakalski

  1. MK295 Logitech macht preisgünstige Tastatur-Maus-Kombo leiser
  2. G915 TKL im Test Logitechs perfekte Tastatur braucht keinen Nummernblock
  3. Logitech Mechanische Tastatur verzichtet auf Kabel und Nummernblock

MX 10.0 im Test: Cherrys kompakte, flache, tolle RGB-Tastatur
MX 10.0 im Test
Cherrys kompakte, flache, tolle RGB-Tastatur

Die Cherry MX 10.0 kommt mit besonders flachen MX-Schaltern, ist hervorragend verarbeitet und umfangreich programmierbar. Warum Nutzer in Deutschland noch auf sie warten müssen, ist nach unserem Test unverständlich.
Ein Test von Tobias Költzsch

  1. Argand Partners Cherry wird verkauft

Verkehrswende: Zaubertechnologie statt Citybahn
Verkehrswende
Zaubertechnologie statt Citybahn

In Wiesbaden wird um den Bau einer Straßenbahn gestritten, eine Bürgerinitiative kämpft mit sehr kuriosen Argumenten dagegen.
Eine Recherche von Hanno Böck

  1. Fernbus Roadjet mit zwei WLANs und Maskenerkennung gegen Flixbus
  2. Mobilität Wie sinnvoll sind synthetische Kraftstoffe?

    •  /