• IT-Karriere:
  • Services:

Cloud-Ausfall: Automatisierte Pflege hat Google-Server offline genommen

Eine falsche Konfiguration und ein Softwarebug haben in der Google-Cloud dazu geführt, dass Server automatisch für die Pflege vom Netz getrennt worden sind. Der Netzwerkausfall hat weitreichende Folgen gehabt.

Artikel veröffentlicht am ,
Der massive Ausfall der Google-Cloud führte selbst beim Beheben des Fehlers noch zu Problemen.
Der massive Ausfall der Google-Cloud führte selbst beim Beheben des Fehlers noch zu Problemen. (Bild: Mark Hougaard Jensen, flickr.com/CC-BY-SA 2.0)

Google hat Details zum Ausfall seines Cloud-Netzwerks am vergangenen Wochenende veröffentlicht. Wie bereits kurz nach dem Vorfall bekannt wurde, wurden die Probleme durch eine Fehlkonfiguration ausgelöst. In seiner offiziellen Analyse, dem sogenannten Postmortem, beschreibt Google nun darüber hinaus, dass der Ausfall zumindest teilweise auf Fehler bei der Automatisierung zur Pflege der Server zurückzuführen sei.

Stellenmarkt
  1. Schaeffler Technologies AG & Co. KG, Nürnberg
  2. medneo GmbH, Berlin

Wie das Unternehmen schreibt, wurden zunächst wie vorgesehen verschiedene Aufgaben der Kontrollebene für das Netzwerk gestoppt, um bevorstehende Wartungsarbeiten durchführen zu können. Darüber hinaus wurden mehrere Cluster-Instanzen für die Netzwerkkontrolle als geeignet für einen seltenen Wartungsfall markiert.

Unerwünschte Kettenreaktion

Die Software, welche die Wartungsroutine anstößt, hatte laut Google aber einen Bug. Dieser führte dazu, dass mehrere der unabhängigen Cluster gleichzeitig dazu aufgefordert wurden, ihren Dienst einzustellen. Entscheidend sei gewesen, dass dies sogar Cluster betroffen habe, die an anderen Standorten benutzt würden.

Eigentlich sollten nur einige der Server an einem bestimmten Ort offline genommen werden, diese waren aber wiederum zur Netzwerkverwaltung für andere Standorte zuständig. Die Automatisierung nahm schließlich alle Server offline, die in diesem Abhängigkeitsbereich waren - und zwar unabhängig von ihrem physischen Standort.

Zu wenig Netzwerkkapazität zum Debuggen

Googles Netzwerke sollen darüber hinaus solche Ausfälle überstehen und ohne Kontrollebene weiterlaufen können. Das sei auch für wenige Minuten geschehen, allerdings sei dann das BGP-Routing zwischen den Standorten zurückgezogen worden. Dadurch seien die verfügbaren Kapazitäten massiv reduziert worden.

Der Fehler sei zwar schnell bemerkt worden. Seine Behebung sei aber durch die Überlastung des Netzwerks behindert worden. Es sei deshalb zu einem "Totalschaden" an den Werkzeugen gekommen. Letztlich mussten die Beteiligten den Fehler unter anderem auch vor Ort im Rechenzentrum beheben, was viel Zeit kostete.

Zudem dauert es auch sehr lange, nach dem Auffinden und Beheben des Fehlers die funktionierende Netzwerkkonfiguration wiederherzustellen. Die Kombination dieser vielen Verzögerungen führte schließlich zu dem Ausfall der betroffenen Dienste von ungefähr vier Stunden.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Anzeige
Spiele-Angebote
  1. (-35%) 25,99€
  2. (-75%) 4,99€
  3. 4,25€
  4. (-40%) 32,99€

Osterschlumpf 09. Jun 2019

Wenn Google sein System so weit hin optimiert hat, daß BGP sich automatisch abschaltet...

Jakelandiar 07. Jun 2019

Ich auch. Sehr schnell. Manch andere haben da 4 stunden reaktionszeit und fangen dann...

schap23 07. Jun 2019

Fehler passieren überall. Es ist aber vorbildlich für die Industrie, wie Google (und...


Folgen Sie uns
       


DJI Robomaster S1 - Test

Was fährt da auf dem Flur entlang? Der Robomaster S1 ist ein flinker Roboter, mit dem wir Rennen fahren oder gegen andere Robomaster im Duell antreten können. Das macht einen Riesenspaß und ist auch ein guter Einstieg ins Programmieren.

DJI Robomaster S1 - Test Video aufrufen
Computer Vision: Mehr Durchblick beim maschinellen Sehen
Computer Vision
Mehr Durchblick beim maschinellen Sehen

Mit den Services von Amazon, IBM, Microsoft und Google kann jeder recht einfach Bilder analysieren, ohne die genauen Mechanismen dahinter zu kennen. Die Anwendungen unterscheiden sich aber stark - vor allem im Funktionsumfang.
Von Miroslav Stimac

  1. Überwachung Bündnis fordert Verbot von Gesichtserkennung
  2. Videoüberwachung SPD-Chefin gegen Pläne für automatische Gesichtserkennung
  3. China Bürger müssen für Mobilfunkverträge ihre Gesichter scannen

Open Power CPU: Open-Source-ISA als letzte Chance
Open Power CPU
Open-Source-ISA als letzte Chance

Die CPU-Architektur Power fristet derzeit ein Nischendasein, wird aber Open Source. Das könnte auch mit Blick auf RISC-V ein notwendiger Befreiungsschlag werden. Dafür muss aber einiges zusammenkommen und sehr viel passen.
Eine Analyse von Sebastian Grüner

  1. Open Source Monitoring-Lösung Sentry wechselt auf proprietäre Lizenz
  2. VPN Wireguard fliegt wegen Spendenaufruf aus Play Store
  3. Picolibc Neue C-Bibliothek für Embedded-Systeme vorgestellt

Concept One ausprobiert: Oneplus lässt die Kameras verschwinden
Concept One ausprobiert
Oneplus lässt die Kameras verschwinden

CES 2020 Oneplus hat sein erstes Konzept-Smartphone vorgestellt. Dessen einziger Zweck es ist, die neue ausblendbare Kamera zu zeigen.
Von Tobias Költzsch

  1. Bluetooth LE Audio Neuer Standard spielt parallel auf mehreren Geräten
  2. Streaming Amazon bringt Fire TV ins Auto
  3. Thinkpad X1 Fold im Hands-off Ein Blick auf Lenovos pfiffiges Falt-Tablet

    •  /