Glow: Facebook legt Compiler für KI-Beschleuniger offen

Mit Glow will Facebook ein einheitliches Framework zum Beschleunigen von KI-Modellen erstellen. Der erste Glow-Compiler für ein dediziertes Hardware-Backend ist nun verfügbar. In der Linux-Community sorgte die Hardware-Unterstützung für Diskussionen.

Artikel veröffentlicht am ,
In Facebooks Rechenzentren werden auch KI-Beschleuniger genutzt.
In Facebooks Rechenzentren werden auch KI-Beschleuniger genutzt. (Bild: Facebook)

Facebook hat ein erstes experimentelles Backend für sein Glow-Projekt als Open Source veröffentlicht. Bei Glow handelt es sich um eine Sammlung von Compilern samt Laufzeitumgebung, die zum Beschleunigen verschiedener Bereiche des maschinellen Lernens gedacht sind. Das nun verfügbare Backend dient zur Verwendung des Goya-Inference-Beschleunigers des Herstellers Habana Labs. Damit lässt sich das Anwenden fertiger Modelle beschleunigen.

Stellenmarkt
  1. IT Operations Engineer / Cloud Ops Engineer (w/m/d)
    ING Deutschland, Frankfurt am Main
  2. Gruppenleitung Geoinformatik (m/w/d)
    Bundesgesellschaft für Endlagerung mbH (BGE), Peine
Detailsuche

Die Hardware-Unterstützung für den Goya-Beschleuniger im Linux-Kernel hatte in der Community für viele größere Diskussionen und vor allem für harsche Kritik an der Umsetzung gesorgt. Vor allem die Betreuer und Entwickler des Grafikstacks des Linux-Kernels kritisierten, dass der fehlende Zwang zu einem freien Userspace-Stack dieser Hardware für eine Vielzahl von Problemen sorgen könnte, weil die Funktion der Hardware nicht vollständig verstanden werden kann.

Große Ähnlichkeiten zum Grafikstack

Für den Grafikstack des Hauptzweigs des Linux-Kernels ist die freie Verfügbarkeit der Userspace-Komponenten eine zwingende Voraussetzung zur Aufnahme. Da mit Mesa auch eine kanonische Implementierung des Userspace existiert, können zudem sowohl Kernel- als auch Userspace der Treiber vergleichsweise einfach größeren Veränderungen unterzogen werden. Mit vielen verschiedenen und bisher auch oft proprietären Userspace-Implementierungen der KI-Beschleuniger ist solch ein Vorgehen viel schwieriger, auch wenn der Linux-Kernel ein einheitliches Subsystem für diese Art Hardware bekommen soll.

Auch an dem nun verfügbaren Backend für Glow zeigt sich, dass die KI-Beschleuniger sehr nah verwandt mit der Funktion und dem Aufbau der GPUs sind. Immerhin setzen die Entwickler von Glow ebenso wie die Grafiktreiber-Entwickler auf LLVM als Grundlage für den Compiler und eine Art Zwischenschicht zwischen einer Schnittstelle für Nutzer und der Hardware selbst.

Golem Karrierewelt
  1. DP-203 Data Engineering on Microsoft Azure: virtueller Vier-Tage-Workshop
    24.-27.10.2022, virtuell
  2. Einführung in das Zero Trust Security Framework (virtueller Ein-Tages-Workshop)
    02.11.2022, virtuell
Weitere IT-Trainings

Unter anderem wegen dieser Ähnlichkeiten hatte der Betreuer des Grafik-Subsystems des Linux-Kernels, David Airlie, vorgeschlagen, eine einheitliche Open-Source-Alternative zur Cuda-Bibliothek von Nvidia zu schaffen. Diese Arbeiten müssten nicht auf GPUs beschränkt bleiben, sondern könnten theoretisch auch auf Beschleunigerhardware wie jene von Habana Labs erweitert werden. Dass dies mittelfristig geschieht, ist derzeit aber sehr unwahrscheinlich, da sich die Interessen von Herstellern und Industrie einerseits und der kleineren Community andererseits gegenüberstehen.

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Aktuell auf der Startseite von Golem.de
Core-i-13000
Intel präsentiert Raptor Lake mit bis zu 5,8 GHz

Auf der Innovation hat Intel die 13. Core Generation vorgestellt. Kernzahl, Takt und Effizienz sollen deutlich steigen.

Core-i-13000: Intel präsentiert Raptor Lake mit bis zu 5,8 GHz
Artikel
  1. Ukrainekrieg: Meta stoppt ausgefeilte russische Desinformationskampagne
    Ukrainekrieg
    Meta stoppt ausgefeilte russische Desinformationskampagne

    Gefakte Webseiten deutscher Medien machen Stimmung gegen die Russland-Sanktionen. Die falschen Artikel wurden über soziale Medien verbreitet.

  2. Star Wars: Lego bringt großes Set der Razor Crest aus The Mandalorian
    Star Wars
    Lego bringt großes Set der Razor Crest aus The Mandalorian

    Aus fast 6.200 Teilen besteht das große Lego-Set der Razor Crest. Sie ist teuer, nicht aber für ein Star-Wars-Set.

  3. Creative Commons, Pixabay, Unsplash: Rechtliche Fallstricke bei Gratis-Stockfotos
    Creative Commons, Pixabay, Unsplash
    Rechtliche Fallstricke bei Gratis-Stockfotos

    Pixabay, Unsplash, CC ermöglichen eine gebührenfreie Nutzung kreativer Werke. Vorsicht ist dennoch geboten: vor Abmahnmaschen, falschen Quellenangaben, unklarer Rechtslage.
    Eine Analyse von Florian Zandt

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • AMD Ryzen 7000 jetzt bestellbar • CyberWeek: PC-Tower, Cooling & Co. • Günstig wie nie: Asus RX 6700 XT 539€, Acer 31,5" 4K 144 Hz 899€, MSI RTX 3090 1.159€ • AMD Ryzen 7 5800X 287,99€ • Xbox Wireless Controller 49,99€ • MindStar (Gigabyte RTX 3060 Ti 522€) [Werbung]
    •  /