Cloud-Ausfall: Automatisierte Pflege hat Google-Server offline genommen

Eine falsche Konfiguration und ein Softwarebug haben in der Google-Cloud dazu geführt, dass Server automatisch für die Pflege vom Netz getrennt worden sind. Der Netzwerkausfall hat weitreichende Folgen gehabt.

Artikel veröffentlicht am ,
Der massive Ausfall der Google-Cloud führte selbst beim Beheben des Fehlers noch zu Problemen.
Der massive Ausfall der Google-Cloud führte selbst beim Beheben des Fehlers noch zu Problemen. (Bild: Mark Hougaard Jensen, flickr.com/CC-BY-SA 2.0)

Google hat Details zum Ausfall seines Cloud-Netzwerks am vergangenen Wochenende veröffentlicht. Wie bereits kurz nach dem Vorfall bekannt wurde, wurden die Probleme durch eine Fehlkonfiguration ausgelöst. In seiner offiziellen Analyse, dem sogenannten Postmortem, beschreibt Google nun darüber hinaus, dass der Ausfall zumindest teilweise auf Fehler bei der Automatisierung zur Pflege der Server zurückzuführen sei.

Wie das Unternehmen schreibt, wurden zunächst wie vorgesehen verschiedene Aufgaben der Kontrollebene für das Netzwerk gestoppt, um bevorstehende Wartungsarbeiten durchführen zu können. Darüber hinaus wurden mehrere Cluster-Instanzen für die Netzwerkkontrolle als geeignet für einen seltenen Wartungsfall markiert.

Unerwünschte Kettenreaktion

Die Software, welche die Wartungsroutine anstößt, hatte laut Google aber einen Bug. Dieser führte dazu, dass mehrere der unabhängigen Cluster gleichzeitig dazu aufgefordert wurden, ihren Dienst einzustellen. Entscheidend sei gewesen, dass dies sogar Cluster betroffen habe, die an anderen Standorten benutzt würden.

Eigentlich sollten nur einige der Server an einem bestimmten Ort offline genommen werden, diese waren aber wiederum zur Netzwerkverwaltung für andere Standorte zuständig. Die Automatisierung nahm schließlich alle Server offline, die in diesem Abhängigkeitsbereich waren - und zwar unabhängig von ihrem physischen Standort.

Zu wenig Netzwerkkapazität zum Debuggen

Googles Netzwerke sollen darüber hinaus solche Ausfälle überstehen und ohne Kontrollebene weiterlaufen können. Das sei auch für wenige Minuten geschehen, allerdings sei dann das BGP-Routing zwischen den Standorten zurückgezogen worden. Dadurch seien die verfügbaren Kapazitäten massiv reduziert worden.

Der Fehler sei zwar schnell bemerkt worden. Seine Behebung sei aber durch die Überlastung des Netzwerks behindert worden. Es sei deshalb zu einem "Totalschaden" an den Werkzeugen gekommen. Letztlich mussten die Beteiligten den Fehler unter anderem auch vor Ort im Rechenzentrum beheben, was viel Zeit kostete.

Zudem dauert es auch sehr lange, nach dem Auffinden und Beheben des Fehlers die funktionierende Netzwerkkonfiguration wiederherzustellen. Die Kombination dieser vielen Verzögerungen führte schließlich zu dem Ausfall der betroffenen Dienste von ungefähr vier Stunden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Osterschlumpf 09. Jun 2019

Wenn Google sein System so weit hin optimiert hat, daß BGP sich automatisch abschaltet...

Jakelandiar 07. Jun 2019

Ich auch. Sehr schnell. Manch andere haben da 4 stunden reaktionszeit und fangen dann...

schap23 07. Jun 2019

Fehler passieren überall. Es ist aber vorbildlich für die Industrie, wie Google (und...



Aktuell auf der Startseite von Golem.de
T-1000
Roboter aus Metall kann sich verflüssigen

Ein Team aus den USA und China hat einen Roboter entwickelt, der seinen Aggregatzustand von fest zu flüssig und zurück ändern kann.

T-1000: Roboter aus Metall kann sich verflüssigen
Artikel
  1. Apple: MacBook Pro braucht wegen Lieferproblemen nur kleine Kühler
    Apple
    MacBook Pro braucht wegen Lieferproblemen nur kleine Kühler

    In den neuen MacBook Pro mit M2 Pro und M2 Max sitzen kleinere Kühlkörper. Der Grund sind Probleme in der Lieferkette.

  2. Trotz Exportverbot: Chinesische Kernforscher nutzen weiter US-Hardware
    Trotz Exportverbot
    Chinesische Kernforscher nutzen weiter US-Hardware

    An Chinas wichtigstes Kernforschungszentrum darf seit 25 Jahren keine US-Hardware geliefert werden. Dennoch nutzt es halbwegs aktuelle Xeons und GPUs.

  3. Virtualisieren mit Windows, Teil 3: Betrieb und Pflege von VMs mit Hyper-V
    Virtualisieren mit Windows, Teil 3
    Betrieb und Pflege von VMs mit Hyper-V

    Hyper-V ist ein Hypervisor, um VMs effizient verwalten zu können. Trotz einiger weniger Schwächen ist es eine gute Virtualisierungssoftware, wir stellen sie in drei Teilen vor. Im letzten geht es um Betrieb und Pflege der VMs.
    Eine Anleitung von Holger Voges

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • PCGH Cyber Week - Rabatte bis 50% • Acer Predator 32" WQHD 170Hz 529€ • MindStar-Tiefstpreise: MSI RTX 4090 1.982€, Sapphire RX 7900 XT 939€ • Philips Hue bis -50% • Asus Gaming-Laptops bis -25% • XFX Radeon RX 7900 XTX 1.199€ • Kingston 2TB 112,90€ • Nanoleaf bis -25% [Werbung]
    •  /