GPU-Programmierung: OpenAI baut einfachen und freien Cuda-Ersatz

Mit Triton haben die KI-Spezialisten von OpenAI eine eigene freie Sprache samt Compiler erstellt, die für Deep Learning gedacht ist.

Artikel veröffentlicht am ,
Triton soll die GPU-Programmierung für Deep Learning vereinfachen.
Triton soll die GPU-Programmierung für Deep Learning vereinfachen. (Bild: Jean-Pierre Dalbéra/Wikimedia/CC-BY 2.0)

Das Team von OpenAI hat das Open-Source-Projekt Triton veröffentlicht. Dabei handelt es sich laut Ankündigung um eine an Python angelehnte Programmiersprache, die explizit dazu gedacht ist, jenen Entwicklern, die keine Erfahrung mit Nvidias Cuda haben, Technik an die Hand zu geben, mit der sehr effizienter GPU-Code erstellt werden kann. Triton ermögliche dabei Code, der so gut sei wie jener, der von Experten erstellt worden sei, heißt es.

Stellenmarkt
  1. Bereichsleiter IT (m/w/d)
    DZB BANK GmbH, Mainhausen
  2. First-Level-Supporter (m/w/d)
    PHYTEC Messtechnik GmbH, Mainz
Detailsuche

Ziel von Triton ist es, komplexe und nur schwer effizient zu implementierende Berechnungen möglichst einfach umzusetzen. In der Ankündigung nennt das Team, das etwa für die Sprachmodelle GPT-2 und GPT-3 bekannt ist, als Beispiele Kernel zur Matrixmultiplikation von Gleitkommazahlen mit halber Genauigkeit (FP16). Dafür seien mit Triton lediglich 25 Zeilen Code notwendig, die Leistung erreiche aber jene der CuBLAS-Bibliothek von Nvidia.

Die Idee für Triton stammt aus der Erkenntnis, dass zur Umsetzung neuer Deep-Learning-Forschungsideen oft zahlreiche Tensoren erstellt werden müssen, was deutliche Leistungseinbußen bringen kann. Umgangen werden könne das zwar durch das Erstellen von GPU-Kerneln, sei oft aber sehr schwierig, da dafür eine direkt GPU-Programmierung notwendig sei.

Diese Vereinfachung im Vergleich zu bestehenden Techniken wie Cuda soll vor allem dadurch erreicht werden, dass Triton über seine Compiler Dinge umsetzt, die sonst händisch umgesetzt werden müssten. Dazu gehört das sogenannte Memory Coalescing, also das Zusammenführen von Speicherzugriffen, die eigentliche Speicherverwaltung sowie das Scheduling von Aufgaben auf einzelne Stream-Processor.

Golem ULTRA
Golem Karrierewelt
  1. Adobe Photoshop für Social Media Anwendungen: virtueller Zwei-Tage-Workshop
    24./25.08.2022, virtuell
  2. Azure und AWS Cloudnutzung absichern: virtueller Zwei-Tage-Workshop
    22./23.09.2022, virtuell
Weitere IT-Trainings

Die Triton-Technik steht als Open Source unter einer freizügigen Lizenz zum Download auf Github bereit. Der für Triton genutzte Compiler basiert dabei auf dem LLVM-Framework und nutzt ein eigene speziell erstellte Zwischenschicht (IR).

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Steffo 29. Jul 2021

Man könnte soweit ich weiß einfach PyTorch nehmen. Ich schätze aber mal, dass sich Triton...

Jojo! 29. Jul 2021

Naja. All zu bald wird das sicherlich nicht sein, wenn überhaupt und dann evetuell auch...

Jojo! 29. Jul 2021

Das klingt so, als ob CUDA dafür entwickelt worden wäre Neuronale Netze zu programmieren...



Aktuell auf der Startseite von Golem.de
Antivirensoftware
Wie das BSI Kaspersky zur Bedrohung erklärte

Interne Dokumente des BSI zeigen, wie es zu der Warnung vor Kaspersky kam - inklusive eines Gefallens für GData.
Von Moritz Tremmel

Antivirensoftware: Wie das BSI Kaspersky zur Bedrohung erklärte
Artikel
  1. Elektroautos: Siemens und Mahle kooperieren bei kabellosem Laden
    Elektroautos
    Siemens und Mahle kooperieren bei kabellosem Laden

    Siemens und Mahle wollen beim induktiven Laden von Elektroautos zusammenarbeiten. Siemens verspricht sich große Chancen in diesem Markt.

  2. Intel & AMD: Neue Sicherheitslücken in Prozessoren - SGX betroffen
    Intel & AMD
    Neue Sicherheitslücken in Prozessoren - SGX betroffen

    Aktuelle CPUs von Intel und AMD haben Schwachstellen, über die fremde Daten ausgelesen werden können.
    Eine Analyse von Johannes Hiltscher

  3. Google Fonts: Abmahnungen an Webseitenbetreiber mit Google-Schriftarten
    Google Fonts
    Abmahnungen an Webseitenbetreiber mit Google-Schriftarten

    Nach einer Entscheidung des Landgerichts München erhalten Webseitenbetreiber mit eingebundenen Google Fonts vermehrt Abmahnungen.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Grafikkarten zu Tiefpreisen (MSI RTX 3090 Ti 1.444€, Gigabyte RTX 3080 Ti 1.089€, Gigabyte RTX 3080 12GB 859€) • Sharkoon PC-Gehäuse -53% • Philips Hue -46% • Günstig wie nie: WD SSD 1TB m. Kühlkörper (PS5) 119,90€, MSI 29,5" 200 Hz 259€ • Der beste Gaming-PC für 2.000€[Werbung]
    •  /