Softwaretests: Mozilla verbessert CI dank Machine Learning

Statt CI-Tests bei jedem Beitrag auszuführen, reduziert Mozilla das Testvolumen nun mittels Machine Learning.

Artikel veröffentlicht am 13. Juli 2020, 13:13 Uhr, Sebastian Grüner

Für CI-Tests im Firefox-Code setzt Mozilla auch auf Machine Learning. (Bild: Mathias Appel/CC0 1.0)

In seinem Hacks-Blog beschreibt der Browserhersteller Mozilla langfristig angelegte Arbeiten, die das Continuous-Integration-System des Unternehmens nicht nur verbessern, sondern vor allem auch beschleunigen sollen. Das größte Problem dabei ist es, die Durchläufe der verfügbaren Tests so gering wie möglich zu halten, um Last zu verringern, das System damit aufrechtzuerhalten und auch Kosten einzusparen. Dabei hilft nun offenbar auch ein Machine-Learning-Modell.

Wie die an den Arbeiten beteiligten Entwickler Andrew Halberstadt und Marco Castelluccio in dem Blogeintrag beschreiben, nutzt das Team derzeit rund 50.000 verschiedene Tests in seinem CI-System bei 90 Konfigurationen. Theoretisch könnte diese dann bei jedem neuen Code-Beitrag durchlaufen werden. Das wären dann 1,35 Milliarden Durchläufe pro Tag, was nicht nur wegen dieser schieren Anzahl abwegig ist.

Denn nicht alle neuen Code-Beiträge müssen auch mit allen Tests und Konfigurationen tatsächlich in dem CI-System getestet werden, da der neue Code viele Teile schlicht nicht betrifft. Das Team nennt in dem Beitrag sehr plakativ Änderungen an einer Readme-Datei, die eben keinerlei technische Veränderung bedeutet, die getestet werden müsste. Deshalb nutzt Mozilla jetzt schon einige weniger wichtige Konfigurationen nicht so oft, setzt auf das eigene Team, um selbst Konfigurationen und Tests festzulegen und nutzt außerdem einen Integrationszweig für den Code.

Diese manuelle Arbeit und darüber hinaus auch eine "naive Heuristik" seien aber immer noch nicht gut genug. Das Team setzt deshalb nun eben auch auf ein Machine-Learning-Modell, das dabei helfen soll, die durchgeführten Tests noch gezielter auszuwählen und insgesamt weniger Tests laufen zu lassen. Das sei trotz der vielen verfügbaren Regressionsdaten jedoch einfacher gesagt als getan. Nach längeren Anstrengungen konnte das Team nun aber ein Modell erstellen, das seinen Bedürfnissen entspricht.

Erste Untersuchungen mit dem neuen Ansatz seien laut Mozilla erfolgversprechend. So konnte im Vergleich zu vorher die Anzahl der Durchläufe um rund 70 Prozent verringert werden. Das Team will das Modell aber noch weiter verfeinern. Darüber hinaus gebe es Pläne, das Modell und den damit verbundenen Dienst auf auch anderen Organisationen außerhalb Mozillas bereitzustellen. So weit sind die Beteiligten jedoch noch nicht.