CPU-Bug: Wie der Albtraum-Bug in Skylake gefunden wurde

Ein Hardware-Bug ist auch nur so etwas wie ein Software-Bug, hat sich das Team gedacht, das den sogenannten Albtraum-Bug in Skylake-CPUs gefunden hat. Am Ende blieben wenige Zeilen Assembler und das Warten auf den Bugfix von Intel.

Artikel veröffentlicht am 29. Juni 2017, 17:41 Uhr, Sebastian Grüner

Verschiedene CPUs von Intel hatten ein Bug im Microcode. (Bild: Martin Wolf/Golem.de)

In einem sehr ausführlichen Blogeintrag beschreibt der Entwickler Joris Giovannangeli, wie der Fehler in dem Microcode für Intels Skylake-CPUs gefunden wurde. Das Debian-Team hatte diesen als Albtraum bezeichnet. Dabei hatte es bei dem Unternehmen Ahrefs viel Hilfe von verschiedenen anderen Entwicklern und vor allem von der Ocaml-Community - und zunächst hatten sie auch eine "verrückte Idee".

Speicherfehler von Hardware ausgelöst

Demnach konnte das Team den Fehler, der beim Kompilieren von Ocaml ausgelöst wurde, zuerst nur sehr schlecht reproduzieren. Nachdem der Fehler aber auch auf den neuen Produktivservern aufgetreten war, musste das Team handeln. Das augenscheinliche Problem ist ein Segfault, also ein Speicherfehler. Allerdings lag der betroffene Speicherbereich außerhalb des Adressbereiches der Anwendung, was auf Fehler im Kernel oder in der Hardware hindeutet.

Da die Verwendung von Werkzeugen wie Asan oder Valgrind, die zum Untersuchen derartiger Fehler genutzt werden, viel Leistung benötigt, zog das Team zum Testen von den Entwickler-Rechnern auf einen Server um, wo es den Fehler nicht hat reproduzieren können. Erst dann stellte das Team fest, dass nur Skylake-Systeme betroffen sind und möglicherweise die Hardware der Verursacher ist.

Entwickler Giovannangeli beschreibt das als "unübliche" Vermutung und wie erwähnt als "verrückte Idee". Gereift sei diese Überlegung wegen des Berichts von einem anderem Ocaml-Entwickler, der einen ähnlichen Fehler beschrieben hat und diesen in Zusammenhang mit dem Hyperthreading des Skylake brachte.

Fehlersuche bis zum Assemblercode

Zu der Zeit gab es aber weder in Intels-Errata-Liste eine Beschreibung, die auf das Problem gepasst hätte, noch ein Microcode-Update, das das Problem löst. Also versuchte das Team weiterhin, den Fehler einzugrenzen. Dafür wurde angenommen, dass der Code, der den Speicherfehler provoziert, derjenige ist, der auch in den entsprechenden Bereich schreibt und liest, in diesem Fall der Garbage Collector.

Diese Information kombiniert mit dem Wissen, dass der Fehler nur bei der Verwendung einer bestimmten Compiler-Optimierung auftritt, ermöglichte letztlich die Suche in dem betroffenen Code, so dass das Team eine spezifische Kombination von Register-Befehlen in Assemblercode als Auslöser ausmachen konnte.

Die Auflistung der Änderungen beim aktuellen Microcode-Update für Intels Skylake-CPUs zählt in einem Fall dann auch die betroffene Registersequenz auf. Nach einem Microcode-Update konnten die beteiligten Ocaml-Entwickler den Bugfix bestätigen. "Schließlich", so schreibt das Team, "fühlten sich unsere Skylake-CPUs sicher und Ocaml-Compiler war glücklich."