Fehler 502: Cloudflare schämt sich für den vergangenen Ausfall

Cloudflare erzählt in einem ausführlichen Blogpost die Geschichte des vergangenen Ausfalls, der einen Teil der Internetinfrastruktur belastete und sogar das eigene Team bei der Fehlersuche behinderte. Das Unternehmen schämt sich für den Fehler.

Artikel veröffentlicht am 15. Juli 2019, 11:02 Uhr, Oliver Nickel

Cloudflare erklärt, wie es zum 502-Fehler kam. (Bild: Pixabay.com/Montage: Golem.de/CC0 1.0)

Der Internetdienstleister Cloudflare klärt auf, warum ein Teil des Internets Anfang Juli nicht erreichbar war. Im Blog-Post ist sich Cloudflare zudem des Schadens für seine Kunden bewusst. "Wir schämen uns dafür, dass das passiert ist", schreibt der Anbieter. Viele Nutzer haben ein paar Minuten lang einen 502-Bad-Gateway-Fehler statt einer Webseite erhalten. Der Grund: Ein falsch definierter regulärer Ausdruck hat die CPU-Kerne von Servern für die Bereitstellung von HTTPS und HTTP überlastet. Sie wurde unbeabsichtigt zusammen mit einer neuen Regel für die Web Application Firewall (Waf) des Herstellers eingeführt.

"Wir verbessern ständig unsere gesetzten Regeln für unsere Waf, um auf neue Sicherheitslücken und Bedrohungen zu reagieren", sagt Entwickler und CTO John Graham-Cumming. Allerdings sei laut ihm der Ausfall wohl nicht nur einem schlecht implementierten Ausdruck zuzuschreiben, nachdem sich der Fehler auch bei Cloudflare gezeigt hatte, indem etwa 80 Prozent des Traffics zusammenbrach. Die weltweit verteilten Testprogramme, die Cloudflare-Server auf ihre Funktionalität prüfen, gaben viele Fehler aus. Daraufhin sammelte sich das Londoner Entwicklerteam zu einem Meeting. Zuerst wurde angenommen, es handele sich um "einen Angriff, den wir nie zuvor gesehen haben", schreibt Graham-Cumming. Es stellte sich aber heraus, dass es ein interner Fehler war.

Um das System zum Laufen zu bringen, musste das Team die Waf abschalten. Das geschieht über ein von überall ausführbares Kommando, "Global Waf Kill". Allerdings konnte Cloudflare durch den eigenen Ausfall nicht auf die eigenen Produkte zugreifen. Die Entwickler konnten sich nicht auf dem internen Steuerungspanel einloggen. Über einen ungenannten Überbrückungsmechanismus konnte ein Teammitglied die Firewall abschalten. Sie konnte dann offline auf den Fehler überprüft werden.

Die Störung ereignete sich am 2. Juli 2019 und hatte den Ausfall mehrerer Internetseiten zur Folge. Schon damals hat Cloudflare zugegeben: Die eigenen Testmechanismen sind ungenügend. Diesen Fehler will das Unternehmen nicht wiederholen.