Abo
  • IT-Karriere:

Cloud-Ausfall: Automatisierte Pflege hat Google-Server offline genommen

Eine falsche Konfiguration und ein Softwarebug haben in der Google-Cloud dazu geführt, dass Server automatisch für die Pflege vom Netz getrennt worden sind. Der Netzwerkausfall hat weitreichende Folgen gehabt.

Artikel veröffentlicht am ,
Der massive Ausfall der Google-Cloud führte selbst beim Beheben des Fehlers noch zu Problemen.
Der massive Ausfall der Google-Cloud führte selbst beim Beheben des Fehlers noch zu Problemen. (Bild: Mark Hougaard Jensen, flickr.com/CC-BY-SA 2.0)

Google hat Details zum Ausfall seines Cloud-Netzwerks am vergangenen Wochenende veröffentlicht. Wie bereits kurz nach dem Vorfall bekannt wurde, wurden die Probleme durch eine Fehlkonfiguration ausgelöst. In seiner offiziellen Analyse, dem sogenannten Postmortem, beschreibt Google nun darüber hinaus, dass der Ausfall zumindest teilweise auf Fehler bei der Automatisierung zur Pflege der Server zurückzuführen sei.

Stellenmarkt
  1. Haufe Group, Freiburg
  2. KfW Bankengruppe, Berlin

Wie das Unternehmen schreibt, wurden zunächst wie vorgesehen verschiedene Aufgaben der Kontrollebene für das Netzwerk gestoppt, um bevorstehende Wartungsarbeiten durchführen zu können. Darüber hinaus wurden mehrere Cluster-Instanzen für die Netzwerkkontrolle als geeignet für einen seltenen Wartungsfall markiert.

Unerwünschte Kettenreaktion

Die Software, welche die Wartungsroutine anstößt, hatte laut Google aber einen Bug. Dieser führte dazu, dass mehrere der unabhängigen Cluster gleichzeitig dazu aufgefordert wurden, ihren Dienst einzustellen. Entscheidend sei gewesen, dass dies sogar Cluster betroffen habe, die an anderen Standorten benutzt würden.

Eigentlich sollten nur einige der Server an einem bestimmten Ort offline genommen werden, diese waren aber wiederum zur Netzwerkverwaltung für andere Standorte zuständig. Die Automatisierung nahm schließlich alle Server offline, die in diesem Abhängigkeitsbereich waren - und zwar unabhängig von ihrem physischen Standort.

Zu wenig Netzwerkkapazität zum Debuggen

Googles Netzwerke sollen darüber hinaus solche Ausfälle überstehen und ohne Kontrollebene weiterlaufen können. Das sei auch für wenige Minuten geschehen, allerdings sei dann das BGP-Routing zwischen den Standorten zurückgezogen worden. Dadurch seien die verfügbaren Kapazitäten massiv reduziert worden.

Der Fehler sei zwar schnell bemerkt worden. Seine Behebung sei aber durch die Überlastung des Netzwerks behindert worden. Es sei deshalb zu einem "Totalschaden" an den Werkzeugen gekommen. Letztlich mussten die Beteiligten den Fehler unter anderem auch vor Ort im Rechenzentrum beheben, was viel Zeit kostete.

Zudem dauert es auch sehr lange, nach dem Auffinden und Beheben des Fehlers die funktionierende Netzwerkkonfiguration wiederherzustellen. Die Kombination dieser vielen Verzögerungen führte schließlich zu dem Ausfall der betroffenen Dienste von ungefähr vier Stunden.



Anzeige
Top-Angebote
  1. 469€ (Bestpreis!)
  2. (u. a. Wreckfest für 16,99€)
  3. 99€
  4. 99,90€ + Versand (Vergleichspreis 127,32€ + Versand)

Osterschlumpf 09. Jun 2019

Wenn Google sein System so weit hin optimiert hat, daß BGP sich automatisch abschaltet...

Jakelandiar 07. Jun 2019

Ich auch. Sehr schnell. Manch andere haben da 4 stunden reaktionszeit und fangen dann...

schap23 07. Jun 2019

Fehler passieren überall. Es ist aber vorbildlich für die Industrie, wie Google (und...


Folgen Sie uns
       


Golem.de probiert 5G in Berlin aus - Bericht

Wir probieren 5G in Berlin-Adlershof aus.

Golem.de probiert 5G in Berlin aus - Bericht Video aufrufen
Indiegames-Rundschau: Killer trifft Gans
Indiegames-Rundschau
Killer trifft Gans

John Wick Hex ist ein gelungenes Spiel zum Film, die böse Gans sorgt in Untitled Goose Game für Begeisterung und in Noita wird jeder Pixel simuliert: Die Indiegames des Monats sind abwechslungsreich und hochwertig wie selten zuvor.
Von Rainer Sigl

  1. Indiegames-Rundschau Überleben im Dschungel und tausend Tode im Dunkeln
  2. Indiegames-Rundschau Epische ASCII-Abenteuer und erlebnishungrige Astronauten
  3. Indiegames-Rundschau Von Bananen und Astronauten

Rohstoffe: Lithium aus dem heißen Untergrund
Rohstoffe
Lithium aus dem heißen Untergrund

Liefern Geothermiekraftwerke in Südwestdeutschland bald nicht nur Strom und Wärme, sondern auch einen wichtigen Rohstoff für die Akkus von Smartphones, Tablets und Elektroautos? Das Thermalwasser hat einen so hohen Gehalt an Lithium, dass sich ein Abbau lohnen könnte. Doch es gibt auch Gegner.
Ein Bericht von Werner Pluta

  1. Wasserkraft Strom aus dem Strom
  2. Energie Wie Mikroben Methan mit Windstrom produzieren
  3. Erneuerbare Energien Die Energiewende braucht Wasserstoff

16K-Videos: 400 MByte für einen Screenshot
16K-Videos
400 MByte für einen Screenshot

Die meisten Spiele können nur 4K, mit Downsampling sind bis zu 16K möglich. Wie das geht, haben wir bereits in einem früheren Artikel erklärt. Jetzt folgt die nächste Stufe: Wie erstellt man Videos in solchen Auflösungen? Hier wird gleich ein ganzer Schwung weiterer Tools und Tricks nötig.
Eine Anleitung von Joachim Otahal

  1. UL 3DMark Feature Test prüft variable Shading-Rate
  2. Nvidia Turing Neuer 3DMark-Benchmark testet DLSS-Kantenglättung

    •  /