Ausfall der Server: Amazon Web Services schaltete sich selbst ab

Ein ganzer Server-Cluster fiel bei AWS aus. US-Kunden konnten daher Dienste teils nicht mehr nutzen. AWS sieht die Schuld bei sich selbst.

Artikel veröffentlicht am ,
AWS-Dienste waren durch eigenes Verschulden nicht erreichbar.
AWS-Dienste waren durch eigenes Verschulden nicht erreichbar. (Bild: Pixabay.com/Pixabay License)

Am 25. November 2020 konnten viele US-Kunden ihre Amazon-Web-Services-Dienste nicht verwenden. Der Grund: Die Zone US East 1 war nicht erreichbar. AWS erklärt nun auch im Detail, wo der ausschlaggebende Fehler gefunden wurde, der für den Ausfall gesorgt hat: beim eigenen Team. Nachdem einige weitere Rechenressourcen für den Datenstreamingdienst Kinesis hinzugefügt wurden, stürzte der gesamte Servercluster ab.

Stellenmarkt
  1. Mitarbeiter im Service Desk (m/w/d)
    Techniklotsen GmbH, Bielefeld
  2. Senior Referent IT / Agile Coach (m/w/d)
    L-Bank, Karlsruhe
Detailsuche

Zunächst vermutete das untersuchende AWS-Team richtig und nahm die hinzugefügten Kapazitäten wieder offline. Allerdings erschienen weitere, damit nicht verbundene Fehler im Log. Schnell wurde klar, dass ein kompletter Neustart des Frontend-Clusters durchgeführt werden müsse, um das Problem komplett zu beheben. Dies erfordert ein etappenweises Vorgehen, da sich die Dienste für Datenabfragen und die Dienste zum Erstellen einer Shard-Map - einem Regelsatz, der Abhängigkeiten von einzelnen Teilservern voneinander definiert - Ressourcen teilen. Das Abschalten vieler Systeme auf einmal würde demnach auch den jeweils anderen Dienst beeinflussen.

Der finale Grund waren tatsächlich neue Kapazitäten, die AWS hinzugefügt hatte. Durch diese wurde die maximal zulässige Anzahl an parallelen Threads überschritten, die vom Betriebssystem unterstützt werden. Daraus konnten Caches nicht mehr erfolgreich konstruiert werden, was wiederum die auf den Servern liegenden Shard-Maps verfälschte. Einzelne Geräte konnten folglich nicht mehr untereinander kommunizieren und das Worst-Case-Szenario war programmiert: ein Totalausfall des gesamten Systems.

Never change a running system

Statt das Threadlimit einfach blind ohne vorherige Tests und Prüfungen innerhalb des Betriebssystems zu erhöhen, hat AWS die neuen Ressourcen erst einmal wieder offline genommen und anschließend einzelne Knoten innerhalb der Flotte in kleineren Gruppen neu gestartet. Daher dauerte es eine Zeit lang, bis das System wieder fehlerfrei und mit funktionierenden Shard-Maps hochgefahren wurde.

Golem Akademie
  1. Java EE 8 Komplettkurs: virtueller Fünf-Tage-Workshop
    24.–28. Januar 2022, virtuell
  2. Netzwerktechnik Kompaktkurs: virtueller Fünf-Tage-Workshop
    14.–18. Februar 2022, virtuell
Weitere IT-Trainings

Von alledem erfuhren betroffene Kunden teils erst mit einer spürbaren Verzögerung. Das lag laut Amazon daran, dass das Service Health Dashboard für die Kommunikation mit Kunden auf den Dienst Cognito setzt. Dieser wiederum baut auf Kinesis-Datenströme, die vom Ausfall betroffen waren. Ein solcher Kaskadeneffekt zeigt, wie oft doch der in der IT-Branche geläufige Spruch "Never change a running system" auch bei großen Konzernen noch angewendet werden kann.

Die Region US East 1 sollte derweil wieder ordnungsgemäß funktionieren. Zumindest hat AWS laut eigenen Aussagen dazugelernt. "Wir werden alles tun, um aus diesem Event zu lernen und das zu nutzen, um unsere Verfügbarkeit noch weiter zu verbessern".

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


xUser 03. Dez 2020

Die hatte ein Thread pro Instance um mit den anderen Instanzen zu reden , d.h. das mit...

xUser 03. Dez 2020

Eine perfekte Architektur gibt es nicht. Amazon weiß schon was sie tun und die...

Mixermachine 02. Dez 2020

Amazon wird dafür bezahlt in Sekunden riesige Rechenkapazitäten bereitzustellen. Die...



Aktuell auf der Startseite von Golem.de
Digitalisierung
500-Euro-Laptops für Lehrer "leistungsfähig und gut nutzbar"

Das Land NRW hat seine Lehrkräfte mit Dienst-Laptops ausgestattet. Doch diese äußern deutliche Kritik und verwenden wohl weiter private Geräte.

Digitalisierung: 500-Euro-Laptops für Lehrer leistungsfähig und gut nutzbar
Artikel
  1. Bundesservice Telekommunikation: Schlecht getarnte Tarnorganisation praktisch enttarnt
    Bundesservice Telekommunikation
    Schlecht getarnte Tarnorganisation praktisch enttarnt

    Inzwischen ist offensichtlich, dass der Bundesservice Telekommunikation zum Bundesamt für Verfassungsschutz gehört.

  2. Cloud Computing mit AWS
     
    Cloud Computing mit AWS

    Die Golem-Akademie bietet einen Kurs, in dem sich alles um die Konzeption von Web-Anwendungen für die AWS Cloud dreht.
    Sponsored Post von Golem Akademie

  3. Krypto-Währung: El Salvador nutzt Talfahrt des Bitcoin für großen Ankauf
    Krypto-Währung
    El Salvador nutzt Talfahrt des Bitcoin für großen Ankauf

    Die selbsternannte Bitcoin-Nation El Salvador hat die aktuelle Schwäche der Währung ausgenutzt und eingekauft - offenbar am Smartphone.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • RTX 3080 Ti 12GB 1.699€ • Intel i9-10900K 444,88€ • Huawei Curved Gaming-Monitor 27" 299€ • Hisense-TVs zu Bestpreisen (u. a. 55" OLED 739€) • RX 6900 1.449€ • MindStar (u.a. Intel i7-10700KF 279€) • 4 Blu-rays für 22€ • LG OLED (2021) 77 Zoll 120Hz 2.799€ [Werbung]
    •  /