Ausfall der Server: Amazon Web Services schaltete sich selbst ab

Ein ganzer Server-Cluster fiel bei AWS aus. US-Kunden konnten daher Dienste teils nicht mehr nutzen. AWS sieht die Schuld bei sich selbst.

Artikel veröffentlicht am ,
AWS-Dienste waren durch eigenes Verschulden nicht erreichbar.
AWS-Dienste waren durch eigenes Verschulden nicht erreichbar. (Bild: Pixabay.com/Pixabay License)

Am 25. November 2020 konnten viele US-Kunden ihre Amazon-Web-Services-Dienste nicht verwenden. Der Grund: Die Zone US East 1 war nicht erreichbar. AWS erklärt nun auch im Detail, wo der ausschlaggebende Fehler gefunden wurde, der für den Ausfall gesorgt hat: beim eigenen Team. Nachdem einige weitere Rechenressourcen für den Datenstreamingdienst Kinesis hinzugefügt wurden, stürzte der gesamte Servercluster ab.

Stellenmarkt
  1. Mitarbeiter (m/w/d) Prozessmanagement IT
    Kindertagesstätten Nordwest Eigenbetrieb von Berlin, Berlin
  2. Systemingenieur (m/w/d) Vorentwicklung Funktionale Sicherheit (FuSi)
    DRÄXLMAIER Group, Garching
Detailsuche

Zunächst vermutete das untersuchende AWS-Team richtig und nahm die hinzugefügten Kapazitäten wieder offline. Allerdings erschienen weitere, damit nicht verbundene Fehler im Log. Schnell wurde klar, dass ein kompletter Neustart des Frontend-Clusters durchgeführt werden müsse, um das Problem komplett zu beheben. Dies erfordert ein etappenweises Vorgehen, da sich die Dienste für Datenabfragen und die Dienste zum Erstellen einer Shard-Map - einem Regelsatz, der Abhängigkeiten von einzelnen Teilservern voneinander definiert - Ressourcen teilen. Das Abschalten vieler Systeme auf einmal würde demnach auch den jeweils anderen Dienst beeinflussen.

Der finale Grund waren tatsächlich neue Kapazitäten, die AWS hinzugefügt hatte. Durch diese wurde die maximal zulässige Anzahl an parallelen Threads überschritten, die vom Betriebssystem unterstützt werden. Daraus konnten Caches nicht mehr erfolgreich konstruiert werden, was wiederum die auf den Servern liegenden Shard-Maps verfälschte. Einzelne Geräte konnten folglich nicht mehr untereinander kommunizieren und das Worst-Case-Szenario war programmiert: ein Totalausfall des gesamten Systems.

Never change a running system

Statt das Threadlimit einfach blind ohne vorherige Tests und Prüfungen innerhalb des Betriebssystems zu erhöhen, hat AWS die neuen Ressourcen erst einmal wieder offline genommen und anschließend einzelne Knoten innerhalb der Flotte in kleineren Gruppen neu gestartet. Daher dauerte es eine Zeit lang, bis das System wieder fehlerfrei und mit funktionierenden Shard-Maps hochgefahren wurde.

Golem Akademie
  1. Terraform mit AWS
    14./15. September 2021, online
  2. Cloud Computing mit Amazon Web Services (AWS)
    18.-20. Oktober 2021, Online
Weitere IT-Trainings

Von alledem erfuhren betroffene Kunden teils erst mit einer spürbaren Verzögerung. Das lag laut Amazon daran, dass das Service Health Dashboard für die Kommunikation mit Kunden auf den Dienst Cognito setzt. Dieser wiederum baut auf Kinesis-Datenströme, die vom Ausfall betroffen waren. Ein solcher Kaskadeneffekt zeigt, wie oft doch der in der IT-Branche geläufige Spruch "Never change a running system" auch bei großen Konzernen noch angewendet werden kann.

Die Region US East 1 sollte derweil wieder ordnungsgemäß funktionieren. Zumindest hat AWS laut eigenen Aussagen dazugelernt. "Wir werden alles tun, um aus diesem Event zu lernen und das zu nutzen, um unsere Verfügbarkeit noch weiter zu verbessern".

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Screenshots zeigen neue Oberfläche
Windows 11 geleakt

Durch einen Leak der ISO von Microsofts Betriebssystem Windows 11 sind Details der Benutzeroberfläche inklusive des Startmenüs bekannt geworden.

Screenshots zeigen neue Oberfläche: Windows 11 geleakt
Artikel
  1. Suchmaschinen: Huawei könnte bei Google-Konkurrent Qwant einsteigen
    Suchmaschinen
    Huawei könnte bei Google-Konkurrent Qwant einsteigen

    Die französische Suchmaschine Qwant macht weiterhin mehr Verluste als Umsatz. Das Geld von Huawei kann sie daher dringend gebrauchen.

  2. Mikromobilität: Im Rhein liegen Hunderte E-Scooter
    Mikromobilität
    Im Rhein liegen Hunderte E-Scooter

    Sie aus dem Wasser holen zu lassen ist zumindest einem Vermieter der E-Scooter zu teuer.

  3. Elon Musk: Tesla-Chef verkauft sein letztes Haus in Kalifornien
    Elon Musk
    Tesla-Chef verkauft sein letztes Haus in Kalifornien

    Seit Mitte 2020 trennt sich Elon Musk nach und nach von seinen Immobilien. Nun verkauft er sein letztes Anwesen - eine Villa in Kalifornien.

xUser 03. Dez 2020

Die hatte ein Thread pro Instance um mit den anderen Instanzen zu reden , d.h. das mit...

xUser 03. Dez 2020

Eine perfekte Architektur gibt es nicht. Amazon weiß schon was sie tun und die...

Mixermachine 02. Dez 2020

Amazon wird dafür bezahlt in Sekunden riesige Rechenkapazitäten bereitzustellen. Die...


Folgen Sie uns
       


  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Schnäppchen • Crucial MX500 500GB 48,99€ • Amazon-Geräte günstiger • WD Black SN850 500GB PCIe 4.0 89€ • Apple iPhone 12 mini 64GB Rot 589€ • Far Cry 6 + Steelbook PS5 69,99€ • E3-Aktion: Xbox-Spiele bei MM günstiger • Amazon Music Ultd. 6 Mon. gratis bei Kauf eines Echo Dot (4. Gen.) [Werbung]
    •  /