Ngraph: Intel veröffentlicht Compiler für Deep Learning

Ngraph ist ein neuer Framework-unabhängiger Modell-Compiler für Deep Learning von Intel. Mit Frameworks wie Tensorflow oder CNTK erzeugter Code lässt sich mit Ngraph in Zukunft für Intel-Chips, Nvidia GPUs, FPGAs und mögliche weitere Deep-Learning-Hardware übersetzen.

Artikel veröffentlicht am 21. März 2018, 13:49 Uhr, Kristian Kißling/Linux Magazin

Intels Multifunktionscompiler für Deep Learning verspricht Forschern Erleichterung. (Bild: startgazer2020, flickr.com/CC-BY 2.0)

Wissenschaftler sollen sich dank des neuen Compilers Ngraph von Intel künftig laut Hersteller ganz auf ihre Deep-Learning-Modelle konzentrieren können. Nicht mehr beschäftigen soll die Forscher dagegen die Frage, wie sie ihre Modelle speziell auf bestimmte Geräte und optimierte Kernel anpassen müssen. Laut Intel ist es bislang recht mühsam, einen Algorithmus auf ein neues oder aktualisiertes Gerät zu portieren.

Ngraph soll nicht nur die spezialisierten Kernel und wichtige Bibliotheken bereitstellen, sondern auch beim Kompilieren auf Effizienz achten. Konkret kümmert sich ein Intermediate Representation Layer (IR) um die Hardware-Abstraktion. Dabei verknüpfen spezielle Verbindungen (Bridges) die Frameworks mit dem Ngraph-Kern. Transformer heißen hingegen die Zwischenstücke zwischen dem Ngraph-Kern und der unterschiedlichen Deep-Learning-Hardware.

Vielzahl unterstützter Hardware und Frameworks

Bislang unterstützt Intel vor allem hauseigene Architekturen wie x86, Intel Xeon oder Xeon Phi sowie Intel Nervana, den hauseigenen Neural Network Processor. Die Arbeit am Support für Nvidia Cu-DNN sei noch nicht abgeschlossen, heißt es. Während Intel in der Mitteilung auch Support für FPGAs ankündigt, bleibt andere Hardware wie die von Konkurrent AMD offenbar außen vor. Theoretisch ließe sich die Software aber von anderen dahingehend ergänzen, sie steht unter der Apache-2-Lizenz.

Einige Frameworks wie Tensorflow, MX-Net und Neon unterstützt Ngraph zurzeit direkt, andere über ONNX, ein Deep Learning Model Exchange Format. Zu Letzterem zählen CNTK, Pytorch und Caffe2. Bislang läuft Ngraph dabei auf Ubuntu 16.04 (mit Clang 3.9) und Centos 7.4 (GCC 4.8) und - experimentell - auf Intels eigenem Clear-Linux (Clang 5.0.1). Windows-Support gibt es bislang nicht. Eine wissenschaftliche Arbeit zu den technischen Details der neuen Software steht auf Arxiv.org bereit.