Ausfall der Server: Amazon Web Services schaltete sich selbst ab

Ein ganzer Server-Cluster fiel bei AWS aus. US-Kunden konnten daher Dienste teils nicht mehr nutzen. AWS sieht die Schuld bei sich selbst.

Artikel veröffentlicht am ,
AWS-Dienste waren durch eigenes Verschulden nicht erreichbar.
AWS-Dienste waren durch eigenes Verschulden nicht erreichbar. (Bild: Pixabay.com/Pixabay License)

Am 25. November 2020 konnten viele US-Kunden ihre Amazon-Web-Services-Dienste nicht verwenden. Der Grund: Die Zone US East 1 war nicht erreichbar. AWS erklärt nun auch im Detail, wo der ausschlaggebende Fehler gefunden wurde, der für den Ausfall gesorgt hat: beim eigenen Team. Nachdem einige weitere Rechenressourcen für den Datenstreamingdienst Kinesis hinzugefügt wurden, stürzte der gesamte Servercluster ab.

Zunächst vermutete das untersuchende AWS-Team richtig und nahm die hinzugefügten Kapazitäten wieder offline. Allerdings erschienen weitere, damit nicht verbundene Fehler im Log. Schnell wurde klar, dass ein kompletter Neustart des Frontend-Clusters durchgeführt werden müsse, um das Problem komplett zu beheben. Dies erfordert ein etappenweises Vorgehen, da sich die Dienste für Datenabfragen und die Dienste zum Erstellen einer Shard-Map - einem Regelsatz, der Abhängigkeiten von einzelnen Teilservern voneinander definiert - Ressourcen teilen. Das Abschalten vieler Systeme auf einmal würde demnach auch den jeweils anderen Dienst beeinflussen.

Der finale Grund waren tatsächlich neue Kapazitäten, die AWS hinzugefügt hatte. Durch diese wurde die maximal zulässige Anzahl an parallelen Threads überschritten, die vom Betriebssystem unterstützt werden. Daraus konnten Caches nicht mehr erfolgreich konstruiert werden, was wiederum die auf den Servern liegenden Shard-Maps verfälschte. Einzelne Geräte konnten folglich nicht mehr untereinander kommunizieren und das Worst-Case-Szenario war programmiert: ein Totalausfall des gesamten Systems.

Never change a running system

Statt das Threadlimit einfach blind ohne vorherige Tests und Prüfungen innerhalb des Betriebssystems zu erhöhen, hat AWS die neuen Ressourcen erst einmal wieder offline genommen und anschließend einzelne Knoten innerhalb der Flotte in kleineren Gruppen neu gestartet. Daher dauerte es eine Zeit lang, bis das System wieder fehlerfrei und mit funktionierenden Shard-Maps hochgefahren wurde.

Von alledem erfuhren betroffene Kunden teils erst mit einer spürbaren Verzögerung. Das lag laut Amazon daran, dass das Service Health Dashboard für die Kommunikation mit Kunden auf den Dienst Cognito setzt. Dieser wiederum baut auf Kinesis-Datenströme, die vom Ausfall betroffen waren. Ein solcher Kaskadeneffekt zeigt, wie oft doch der in der IT-Branche geläufige Spruch "Never change a running system" auch bei großen Konzernen noch angewendet werden kann.

Die Region US East 1 sollte derweil wieder ordnungsgemäß funktionieren. Zumindest hat AWS laut eigenen Aussagen dazugelernt. "Wir werden alles tun, um aus diesem Event zu lernen und das zu nutzen, um unsere Verfügbarkeit noch weiter zu verbessern".

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


xUser 03. Dez 2020

Die hatte ein Thread pro Instance um mit den anderen Instanzen zu reden , d.h. das mit...

xUser 03. Dez 2020

Eine perfekte Architektur gibt es nicht. Amazon weiß schon was sie tun und die...

Mixermachine 02. Dez 2020

Amazon wird dafür bezahlt in Sekunden riesige Rechenkapazitäten bereitzustellen. Die...



Aktuell auf der Startseite von Golem.de
Truppenversuch
Microsofts Kampfbrille macht Soldaten schlechter

Beim Truppenversuch der modifizierten Hololens 2 für die US-Armee hat sich herausgestellt, dass die Soldaten an Kampfkraft einbüßen und die Brillen ablehnen.

Truppenversuch: Microsofts Kampfbrille macht Soldaten schlechter
Artikel
  1. Morgan Stanley: Bank reicht Whatsapp-Millionen-Strafe an Angestellte weiter
    Morgan Stanley
    Bank reicht Whatsapp-Millionen-Strafe an Angestellte weiter

    Wegen der Nutzung von Whatsapp hatten Finanzregulatoren 2022 mehrere Banken mit hohen Strafen belegt.

  2. Nutzertest: Deutsche Glasfaser erreicht 1 GBit/s nicht ganz
    Nutzertest
    Deutsche Glasfaser erreicht 1 GBit/s nicht ganz

    Ein Kunde hat seine Hardware aufgerüstet, dennoch bekommt er statt 1 GBit/s nur 950 MBit/s im Download. Deutsche Glasfaser forscht nach.

  3. Nutzerfreundlichkeit und Datenschutz: Fünf All-in-One-Messenger im Vergleichstest
    Nutzerfreundlichkeit und Datenschutz
    Fünf All-in-One-Messenger im Vergleichstest

    Ständiges Wechseln zwischen Messenger-Apps ist lästig. All-in-One-Messenger versprechen, dieses Problem zu lösen. Wir haben fünf von ihnen getestet und große Unterschiede bei Bedienbarkeit und Datenschutz festgestellt.
    Ein Test von Leo Dessani

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • XFX RX 7900 XTX 1.199€ • WSV bei MM • Razer Viper V2 Pro 119,99€ • MindStar: XFX RX 6950 XT 799€, MSI RTX 4090 1.889€ • Epos Sennheiser Game One -55% • RAM/Graka-Preisrutsch • Razer Gaming-Stuhl -41% • 3D-Drucker 249€ • Kingston SSD 1TB 49€ • Asus RTX 4080 1.399€[Werbung]
    •  /