Link-Time-Optimization: LLVM macht LTO fast so schnell wie normale Optimierung

Mit einer neuen Art der Optimierung während des Linkens eines Programms (LTO) benötigt LLVM nur etwas mehr Zeit als bei der "normalen" Optimierung beim Kompilieren. Auch den Speicherbedarf für LTO konnte das Team drastisch reduzieren.

Artikel veröffentlicht am 24. Juni 2016, 13:00 Uhr, Sebastian Grüner

Dank einer neuen Technik wird die LTO in LLVM deutlich schneller. (Bild: LLVM)

Die meisten Compiler verfügen inzwischen über Möglichkeiten der Programmoptimierung, etwa um die Laufzeit zu verbessern. Bei der Link-Time-Optimization (LTO) wird dieser Vorgang erst beim Linken des Programms durchgeführt, wodurch das gesamte Programm auch über mehrere Module hinweg optimiert werden kann. Mit dem neuen Ansatz Thin LTO hat es das LLVM-Team geschafft, den für den Vorgang benötigten Speicherbedarf drastisch zu reduzieren und nur noch etwas mehr Zeit als für die normale Optimierung zu benötigen.

• 

Der Ablauf des neuen Thin LTO (Bild: LLVM)

Trotz der durch LTO meist besseren Ergebnisse im Vergleich zur normalen Optimierung hatte die Technik vor allem für sehr große Anwendungen entscheidende Nachteile. Denn bei dem bisherigen Ansatz ist der gesamte erzeugte Bitcode zu einem großen monolithischen Modul zusammengefasst worden, auf dem dann die Optimierungen in einem einzigen Thread durchgeführt worden sind.

Paralleler Ablauf dank Zusatzinformationen

Bei Thin LTO wird jedoch auf das Zusammenführen des Bitcodes zu dem monolithischen Modul vollständig verzichtet. Um dennoch eine globale Analyse des gesamten Programms durchführen zu können, werden kompakte Übersichten der einzelnen kleineren Module erstellt. Ebenso wird ein Index der Orte von Funktionen erstellt, um diese später über Modulgrenzen hinweg importieren zu können. Dieser Import umfasst zudem nur jene Funktionen, die wahrscheinlich von einer Inline-Ersetzung betroffen sein werden. Die tatsächlichen Optimierungen geschehen dann völlig parallel in mehreren Threads.

Die wichtigste Voraussetzung für diesen Ablauf sei das Erstellen der Übersichten der Module, die quasi nebenbei beim Kompilieren in die LLVM-Zwischenschicht (Intermediate Representation, IR) erzeugt werden. Dabei werden sämtliche globalen Variablen und Funktionen berücksichtigt und eine Modul-Übersicht enthält zudem Metadaten, die als Abstraktion für einzelne Symbole dienen soll.

Zwar sei Thin LTO noch in Arbeit, die LLVM-Autoren bewerten dessen Leistung aber im Vergleich zur bisherigen LTO als gut. So werden in vielen Fällen die Leistungssteigerungen des LTO auch mit der neuen Technik erreicht. Allerdings ist der gesamte Kompiliervorgang mit dem neuen Ansatz wesentlich schneller als das alte LTO und reicht fast an die Geschwindigkeit des Kompilierens mit der normalen Optimierung heran. Darüber hinaus sind anders als bei der alten Technik mit Thin LTO sehr schnelle inkrementelle Builds möglich.

Derzeit genutzt werden kann Thin LTO mit dem Gold Plugin ebenso wie Ld64 in Apples Xcode 8. In der kommenden Version LLVM 3.9 wird das C-Frontend Clang Thin LTO über eine Kommandozeilenoption unterstützen.