Abo
  • Services:
Anzeige

Wie Facebook die Daten von 300 Millionen Nutzern verkraftet

Durch solche und weitere Optimierungen sei es gelungen, die Zahl der physischen I/O-Zugriffe pro ausgeliefertem Bild von rund 10 auf rund 3 zu senken. Letztendlich aber entwickelte Facebook mit Haystack ein eigenes Open-Source-Dateisystem zum Speichern großer Bildermengen, das pro ausgeliefertem Bild nur noch einen I/O-Zugriff benötigt. So sei es nun möglich, rund viermal mehr Bilder mit der gleichen Hardware auszuliefern.

Anzeige

PHP für die Webserver

Die grundlegende Architektur der Facebook-Plattform gliedert sich in drei Schichten: ein Loadbalancer reicht Daten an Webserver weiter, die ihrerseits auf Dienste, Memcached und Datenbanken zugreifen. Bei den Webservern setze Facebook auf PHP als Scriptsprache, da PHP leicht zu lernen, zu programmieren und debuggen sei. Dem stehen hohen Runtimekosten gegenüber, denn PHP brauche viel Speicher und Rechenzeit. Zudem sei die Verbindung mit C++ eine Herausforderung und bei großer Codemenge werfe PHP gewisse organisatorische Probleme auf. Auch mache neuer Code alten langsamer, selbst wenn dieser in keinem Zusammenhang stehe, da der Initialisierungsaufwand, der bei jeder Anfrage anfällt, steige.

Um dem entgegen zu wirken, hat Facebook einige Optimierungen vorgenommen und beispielsweise den APC (Advanced PHP Cache) um Lazy-Loading, Cache-Priming und effizientere Locking-Funktionen erweitert. Zudem wurde eine eigene Memcached-Client-Erweiterung sowie Mechanismen zum asynchronen Event-Handling geschrieben. Derzeit arbeitet Facebook an einem Compiler, der PHP in C++ umsetzt, um daraus hoch optimierte ausführbare Dateien zu machen.

Die Webserver greifen auf Backendsysteme zurück, die in aller Regel in C++ implementiert werden, nutzen aber auch andere Sprachen wie Python, Ruby oder Erlang - je nachdem, welche für die aktuelle Aufgabe am besten geeignet ist. Facebooks Suchdienst ein solches Beispiel.

25 TByte Logfiles pro Tag

Ein weiteres Backendsystem ist Scribe, mit dem Facebook seine große Menge an Logfiledaten verarbeitet, denn täglich fallen rund 25 TByte an Logfiles auf den Servern an, die chronologisch konsolidiert werden müssen. Letztendlich verarbeitet ein Hadoop-Cluster mit rund 1.000 Nodes die Daten und erlaubt Analysen des Nutzerverhaltens, um herauszufinden, wie neue Funktionen von Nutzern verwendet werden.

 Wie Facebook die Daten von 300 Millionen Nutzern verkraftetWie Facebook die Daten von 300 Millionen Nutzern verkraftet 

eye home zur Startseite
........... 03. Feb 2010

Eins wird da wohl völlig reichen und selbst dann haste noch etliche Ressourcen frei um...

Michael 76 27. Okt 2009

Schon gewusst, Facebook setzt MySQL gar nicht als relationale Datenbank ein. MySQL dient...

gyko 27. Okt 2009

Da ich grad an der UCSD studiere, konnte mir das das anhören. Kann jedem Technik...

Michael 76 27. Okt 2009

Dir ist aber schon klar, das Abmelden nicht gleich löschen heisst. Meist werden deine...

Michael 76 27. Okt 2009

Für alle dies es nicht wissen sollten !!! Facebook setzt nur auf der Webtierschicht PHP...


/var/bergercity/ / 29. Okt 2009

unterm Facebook

Blog von Jens Ihnow / 21. Okt 2009

Facebook - Technik im Hintergrund



Anzeige

Stellenmarkt
  1. über Hanseatisches Personalkontor Freiburg, Neuried-Altenheim
  2. Robert Bosch GmbH, Abstatt
  3. Brückner Group GmbH, Siegsdorf
  4. Deutsche Post DHL Group, Köln


Anzeige
Hardware-Angebote
  1. ab 1.079,79€ im PCGH-Preisvergleich
  2. auf Kameras und Objektive

Folgen Sie uns
       

Anzeige
Whitepaper
  1. Data Center-Modernisierung für mehr Performance und


  1. Search Light

    Google testet schlanke Such-App

  2. 3D-Drucker

    Neues Verfahren erkennt Manipulationen beim 3D-Druck

  3. AVS Device SDK

    Amazon bringt Alexa auf Raspberry Pi und andere Boards

  4. Adblock Plus

    OLG München erklärt Werbeblocker für zulässig

  5. Streaming

    Netflix plant 7 Milliarden US-Dollar für eigenen Content ein

  6. Coffee Lake

    Core i3 als Quadcores und Core i5 als Hexacores

  7. Starcraft Remastered im Test

    Klick, klick, klick, klick, klick als wär es 1998

  8. KB4034658

    Anniversary-Update-Update macht Probleme mit WSUS

  9. Container

    Githubs Kubernetes-Cluster überlebt regelmäßige Kernel-Panic

  10. Radeon RX Vega

    Mining-Treiber steigert MH/s deutlich



Haben wir etwas übersehen?

E-Mail an news@golem.de


Anzeige
Mercedes S-Klasse im Test: Das selbstfahrende Auto ist schon sehr nahe
Mercedes S-Klasse im Test
Das selbstfahrende Auto ist schon sehr nahe
  1. Autonomes Fahren Fiat Chrysler kooperiert mit BMW und Intel
  2. 3M Verkehrsschilder informieren autonom fahrende Autos
  3. Waymo Autonomes Auto zerstört sich beim Unfall mit Fußgängern

LG 34UC89G im Test: Wenn G-Sync und 166 Hertz nicht genug sind
LG 34UC89G im Test
Wenn G-Sync und 166 Hertz nicht genug sind
  1. LG 43UD79-B LG bringt Monitor mit 42,5-Zoll-Panel für vier Signalquellen
  2. Gaming-Monitor Viewsonic XG 2530 im Test 240 Hertz, an die man sich gewöhnen kann
  3. SW271 Benq bringt HDR-Display mit 10-Bit-Panel

Windows 10 S im Test: Das S steht für schlechtes Marketing
Windows 10 S im Test
Das S steht für schlechtes Marketing
  1. Microsoft Neugierige Nutzer können Windows 10 S ausprobieren
  2. Surface Diagnostic Toolkit Surface-Tool kommt in den Windows Store
  3. Malware Der unvollständige Ransomware-Schutz von Windows 10 S

  1. Re: sieht trotzdem ...

    ArcherV | 06:45

  2. Re: Ich habe einfach kein Interesse an Werbung

    otraupe | 06:44

  3. Re: Ich habe da immer so ein dummes Gefühl

    Prinzeumel | 06:37

  4. Re: Warum ich die Golem Werbung blocke ..

    AllDayPiano | 06:31

  5. Re: danke google

    crustenscharbap | 06:22


  1. 17:02

  2. 15:55

  3. 15:41

  4. 15:16

  5. 14:57

  6. 14:40

  7. 14:26

  8. 13:31


  1. Themen
  2. A
  3. B
  4. C
  5. D
  6. E
  7. F
  8. G
  9. H
  10. I
  11. J
  12. K
  13. L
  14. M
  15. N
  16. O
  17. P
  18. Q
  19. R
  20. S
  21. T
  22. U
  23. V
  24. W
  25. X
  26. Y
  27. Z
  28. #
 
    •  / 
    Zum Artikel