Machine Learning: LLVM könnte Tensor-Erweiterungen bekommen

Zur Beschleunigung von Machine Learning gibt es inzwischen Hardware-Support für Tensoren. LLVM könnte dies in Compilern unterstützen.

Artikel veröffentlicht am 16. November 2021, 12:59 Uhr, Sebastian Grüner

Das LLVM-Maskottchen ist ein Drache. (Bild: Pixabay)

Ein Forschungsteam von Intel, Amazons Web Services (AWS) sowie der University of Illinois at Urbana-Champaign (UIUC), an der das LLVM-Projekt entstanden ist, planen eine Vereinheitlichung von Tensor-Operationen in dem Compiler-Projekt LLVM. Primäres Ziel und Fokus der Arbeiten ist dabei eine bessere Unterstützung von Machine-Learning-Aufgaben, aber auch andere Berechnungen könnten damit vereinfacht werden.

Zur Unterstützung und vor allem für die Beschleunigung von Machine Learning setzen Hardware-Hersteller schon jetzt auf einige Besonderheiten in ihren Chips. Das Team zählt in seiner Ankündigung etwa verschiedene Befehlssätze und Einheiten in Hardware auf wie Intel AMX, Power MMA, Nvidias Tensor-Kerne, AMDs Matrix-Kerne oder Qualcomms HVX. Hinzu komme dann auch noch dedizierte Hardware wie von Nvidia oder AWS.

Mit einer guten und vor allem breiten LLVM-Unterstützung könnten diese Hersteller entsprechende Compiler-Backends einfacher für ihre eigene Hardware umsetzen, heißt es. Dazu könnte etwa der bereits in LLVM vorhandene Support für Vektor- und Matrix-Operationen auf Tensoren übertragen beziehungsweise verallgemeinert werden. Der wohl wichtigste Teil in Bezug auf LLVM ist, dass das Projekt so gestaltet ist, dass die eigentlichen Hardware-Ziele vergleichsweise leicht ausgetauscht werden können.

Ziel der nun vorgestellten Initiative ist ein Framework, das solchen Code für Tensoren generieren kann. Grundlage dafür soll der klassische LLVM-Code sein, ebenso wie die im vergangenen Jahr vorgestellte MLIR. Eigenen Aussagen zufolge arbeitet das Team zusammen mit AWS, Intel, IBM und Qualcomm an einem Prototyp. In dem nun veröffentlichten Vorschlag wird die LLVM IR um Tensor-Operationen erweitert, was TLX (Tensor LLVM eXtensions) genannt wird.