Facebook

Automatische Fehlerkorrektur sorgt für Ausfall

Ein Ausfall von rund 2,5 Stunden hat Facebook Schlagzeilen beschert, bis hin zu den Heute-Nachrichten des ZDF. Ausgangspunkt war eine Konfigurationsänderung, die von einem automatischen Korrektursystem als falsch angesehen wurde.

Artikel veröffentlicht am ,
Facebook: Automatische Fehlerkorrektur sorgt für Ausfall

Der Ausfall von Facebook in der vergangenen Nacht war der größte seit vier Jahren, so die Betreiber des Social Network. Schuld war eine fehlerhafte Fehlerbehandlung. Ein automatisches Korrektursystem sorgt für gewöhnlich dafür, dass fehlerhafte Konfigurationswerte im Cache durch aktualisierte Werte im persistenten Speicher überschrieben werden. Im aktuellen Fall führte aber genau dies zum Zusammenbruch.

Stellenmarkt
  1. IT-Recruiter (m/w/d)
    Cegeka Deutschland GmbH, Neu Isenburg, Köln
  2. Systementwickler DevOps Remote Services (m/w/d)
    KHS GmbH, Dortmund
Detailsuche

Ausgangspunkt war eine Konfigurationsänderung im persistenten Speicher, die das System als ungültig einstufte. Die Folge: Jedes Clientsystem erhielt den angeblich ungültigen Wert, versuchte diesen zu korrigieren und stellte dazu eine Anfrage an einen Datenbankcluster. Dieser brach schnell unter der Last der mehreren hunderttausend Anfragen pro Sekunde zusammen.

Verschlimmert wurde das Problem dadurch, dass jede fehlgeschlagene Anfrage an die Datenbank als ungültiger Wert behandelt wurde und der zugehörige Cache-Schlüssel gelöscht wurde. Das führte dazu, dass auch nach Korrektur des eigentlichen Fehlers die Zahl der Anfragen auf den Datenbankcluster hoch blieb. Das Ganze führte zu einer Feedbackschleife, die der Datenbank keine Gelegenheit ließ, sich zu erholen.

Die einzige Lösung bestand darin, sämtlichen Traffic auf das Datenbanksystem zu stoppen, was zugleich bedeutete, Facebooks Website abzuschalten. Danach konnte das Problem beseitigt und das System Stück für Stück wieder hochgefahren werden.

Golem Akademie
  1. Java EE 8 Komplettkurs: virtueller Fünf-Tage-Workshop
    24.–28. Januar 2022, virtuell
  2. Ansible Fundamentals: Systemdeployment & -management: virtueller Drei-Tage-Workshop
    6.–8. Dezember 2021, Virtuell
Weitere IT-Trainings

Mittlerweile läuft Facebook wieder, das Korrektursystem bleibt aber vorerst abgeschaltet. Facebooks Entwickler denken über ein neues Design des Systems nach, um auszuschließen, dass das System mehr Schaden anrichtet als es Fehler korrigiert.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


theb--- 27. Sep 2010

über b/ wird nicht gesprochen!

Regressionstester 25. Sep 2010

Ich wage zu behaupten, dass die Änderungen sehr wohl und vermutlich auch ausgiebig auf...

qmdu 25. Sep 2010

Seltsam scheint nur der Zeitpunkt dieses Ausfalls bei Facebook. Normalerweise bekannt als...

SepppJ 25. Sep 2010

in der Zeit, die sie wie gebannt auf die leeren Monitore starrten verlor für viele das...

Fatal3ty 24. Sep 2010

Es gibt doch was anderes zum Leben, als mit Facebook ständog zu aktualisieren. Ich...



Aktuell auf der Startseite von Golem.de
Resident Evil (1996)
Grauenhaft gut

Resident Evil zeigte vor 25 Jahren, wie Horror im Videospiel auszusehen hat. Wir schauen uns den Klassiker im Golem retro_ an.

Resident Evil (1996): Grauenhaft gut
Artikel
  1. Amazon: Alexa wacht über Waschmaschinen und laufenden Wasserhahn
    Amazon
    Alexa wacht über Waschmaschinen und laufenden Wasserhahn

    Alexa kann hierzulande eine Waschmaschine oder einen Wasserhahn belauschen und Bescheid geben, wenn etwa die Wäsche fertig ist.

  2. Kanadische Polizei: Diebe nutzen Apples Airtags zum Tracking von Luxuswagen
    Kanadische Polizei
    Diebe nutzen Apples Airtags zum Tracking von Luxuswagen

    Autodiebe in Kanada nutzen offenbar Apples Airtags, um Fahrzeuge heimlich zu orten.

  3. Studie: Kinder erhalten Smartphone meist zwischen 6 und 11 Jahren
    Studie
    Kinder erhalten Smartphone meist zwischen 6 und 11 Jahren

    Nur eine sehr geringe Minderheit der Eltern will ihrem Kind erst mit 15 Jahren ein Smartphone zur Verfügung stellen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Saturn-Advent: Samsung Portable SSD T5 1 TB 84€ • ViewSonic VX2718-2KPC-MHD (WQHD, 165 Hz) 229€ • EPOS Sennheiser GSP 670 199€ • EK Water Blocks Elite Aurum 360 D-RGB All in One 205,89€ • KFA2 Geforce RTX 3070 OC 8 GB 1.019€ • Alternate (u. a. AKRacing Core SX 269,98€) [Werbung]
    •  /