Open Source: Das ML-Compiler-Ökosystem OpenXLA ist fertig

OpenXLA soll die Entwicklung von Machine-Learning-Software beschleunigen, vereinfachen und von der Bindung an bestimmte Hardware lösen.

Artikel veröffentlicht am 9. März 2023, 15:15 Uhr, Boris Mayer

Auch bei Maschinen zählt Zeit: Machine Leaning optimieren mit OpenXLA (Bild: fringley via flickr/CC-BY 2.0)

OpenXLA ist ein Open-Source-Compiler-Ökosystem für Machine-Learning-Anwendungen. Hinter dem Projekt steht eine lange Liste von sich mit ML beschäftigenden IT-Konzernen, die Google in dem Opens-Source-Blogpost zur Veröffentlichung in alphabetischer Reihenfolge auflistet: Alibaba, Amazon Web Services, AMD, Apple, Arm, Cerebras, Google, Graphcore, Hugging Face, Intel, Meta und Nvidia. Auffällig daran ist vor allem die Abwesenheit von OpenAI und Microsoft.

Geschaffen wurde das Projekt OpenXLA, um die Entwicklung von ML-Software zu vereinfachen und zu beschleunigen. "ML-Entwicklung und -Bereitstellung leiden heute unter einer fragmentierten und isolierten Infrastruktur, die sich je nach Framework, Hardware und Anwendungsfall unterscheiden kann. Eine solche Fragmentierung schränkt die Entwicklergeschwindigkeit ein und stellt ein Hindernis dar für die Portabilität, Effizienz und Produktion von Modellen", wird das angegangene Problem beschrieben.

Kurz gesagt: Es sind manuelle Anpassungen für jede Hardware notwendig, auf der ein Modell lernen oder auch später arbeiten soll. Und das unterscheidet sich nochmal je Anwendungsfall und gewähltem Framework.

Das Ökosystem besteht aus XLA, StableHLO und IREE

StableHLO ist im OpenXLA-Ökosystem der Satz der High-Level-Operationen (High-Level Operations: HLO). Diese Operationen sind der Input für die XLA und kommen laut Infografik im Blog aus Tensorflowm Pytorch oder JAX. Somit stellt es einen Portabilitätslayer dar – zwischen ML-Framworks und ML-Compiler.

XLA (Accelerated Linear Algebra) optimiert dann die Berechnungen, die der ML-Graph vorsieht: zunächst auf einer zielunabhängigen Basis mit Rechenoptimierungen, Fusionieren von Operationen, Scheduling und Ähnlichem. In einem zweiten Schritt folgt dann die Optimierung auf die gewählte Hardware. IREE als dritter im Bund ist ein MLIR-basierter ML-Compiler und gleichzeitig ein Runtime-Toolkit.

Das bedeutet aber auch, dass bei OpenXLA nicht alles so neu ist, wie das Projekt es gerne erscheinen lassen möchte. So ist XLA bei Tensorflow schon seit 2017 vorhanden. Allerdings gibt es im Tensorflow Source Tree als CPU-Backends nur x64 und ARM64 und als GPU-Backend nur eines für Nvidia. OpenXLA sollte zumindest in der Hinsicht auf einer deutlich breiteren Basis stehen.