GPU-Programmierung: OpenAI baut einfachen und freien Cuda-Ersatz

Mit Triton haben die KI-Spezialisten von OpenAI eine eigene freie Sprache samt Compiler erstellt, die für Deep Learning gedacht ist.

Artikel veröffentlicht am ,
Triton soll die GPU-Programmierung für Deep Learning vereinfachen.
Triton soll die GPU-Programmierung für Deep Learning vereinfachen. (Bild: Jean-Pierre Dalbéra/Wikimedia/CC-BY 2.0)

Das Team von OpenAI hat das Open-Source-Projekt Triton veröffentlicht. Dabei handelt es sich laut Ankündigung um eine an Python angelehnte Programmiersprache, die explizit dazu gedacht ist, jenen Entwicklern, die keine Erfahrung mit Nvidias Cuda haben, Technik an die Hand zu geben, mit der sehr effizienter GPU-Code erstellt werden kann. Triton ermögliche dabei Code, der so gut sei wie jener, der von Experten erstellt worden sei, heißt es.

Stellenmarkt
  1. Softwarearchitekt (m/w/d) Embedded Java
    VIVAVIS AG, Ettlingen
  2. CRM-Manager & Data-Analyst (m/w/d)
    Chemnitzer Verlag und Druck GmbH & Co. KG, Chemnitz
Detailsuche

Ziel von Triton ist es, komplexe und nur schwer effizient zu implementierende Berechnungen möglichst einfach umzusetzen. In der Ankündigung nennt das Team, das etwa für die Sprachmodelle GPT-2 und GPT-3 bekannt ist, als Beispiele Kernel zur Matrixmultiplikation von Gleitkommazahlen mit halber Genauigkeit (FP16). Dafür seien mit Triton lediglich 25 Zeilen Code notwendig, die Leistung erreiche aber jene der CuBLAS-Bibliothek von Nvidia.

Die Idee für Triton stammt aus der Erkenntnis, dass zur Umsetzung neuer Deep-Learning-Forschungsideen oft zahlreiche Tensoren erstellt werden müssen, was deutliche Leistungseinbußen bringen kann. Umgangen werden könne das zwar durch das Erstellen von GPU-Kerneln, sei oft aber sehr schwierig, da dafür eine direkt GPU-Programmierung notwendig sei.

Diese Vereinfachung im Vergleich zu bestehenden Techniken wie Cuda soll vor allem dadurch erreicht werden, dass Triton über seine Compiler Dinge umsetzt, die sonst händisch umgesetzt werden müssten. Dazu gehört das sogenannte Memory Coalescing, also das Zusammenführen von Speicherzugriffen, die eigentliche Speicherverwaltung sowie das Scheduling von Aufgaben auf einzelne Stream-Processor.

Golem ULTRA
Golem Akademie
  1. Terraform mit AWS
    14.-15. Dezember 2021, online
  2. Linux-Systemadministration Grundlagen
    25.-29 Oktober 2021, online
  3. Linux-Systeme absichern und härten
    8.-10. November 2021, online
Weitere IT-Trainings

Die Triton-Technik steht als Open Source unter einer freizügigen Lizenz zum Download auf Github bereit. Der für Triton genutzte Compiler basiert dabei auf dem LLVM-Framework und nutzt ein eigene speziell erstellte Zwischenschicht (IR).

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Steffo 29. Jul 2021 / Themenstart

Man könnte soweit ich weiß einfach PyTorch nehmen. Ich schätze aber mal, dass sich Triton...

Jojo! 29. Jul 2021 / Themenstart

Naja. All zu bald wird das sicherlich nicht sein, wenn überhaupt und dann evetuell auch...

Jojo! 29. Jul 2021 / Themenstart

Das klingt so, als ob CUDA dafür entwickelt worden wäre Neuronale Netze zu programmieren...

Kommentieren



Aktuell auf der Startseite von Golem.de
Thinkpad E14 Gen3 im Test
Ryzen-Laptop mit grandiosem Preis-Leistungs-Verhältnis

Schon das Thinkpad E14 Gen2 war exzellent, bei der Gen3 aber hat Lenovo die zwei Schwachstellen - Akku und Display - behoben. Bravo!
Ein Test von Marc Sauter

Thinkpad E14 Gen3 im Test: Ryzen-Laptop mit grandiosem Preis-Leistungs-Verhältnis
Artikel
  1. Software Defined Silicon: Intel will Xeon-Funktionen als Lizenz-Update verkaufen
    Software Defined Silicon
    Intel will Xeon-Funktionen als Lizenz-Update verkaufen

    Mit dem Software Defined Silicon will Intel in Xeon-Hardware zunächst abgeschaltete Funktionen künftig als Lizenz-Upgrade bereitstellen.

  2. Eine dritte Hand für Netzwerkadministratoren
     
    Eine dritte Hand für Netzwerkadministratoren

    Die Aufgaben von Systemadministratoren werden immer komplexer und vielfältiger. Unterstützung bietet jetzt das Wiener Start-up PATCHBOX mit dem selbst entwickelten Installations-Tool Setup.exe.
    Sponsored Post von Patchbox

  3. Smartphone-App: Digitaler Führerschein leidet unter enormen Schwierigkeiten
    Smartphone-App
    Digitaler Führerschein leidet unter enormen Schwierigkeiten

    Mit dem großen Andrang habe das Kraftfahrt-Bundesamt nicht gerechnet. Nun ist die App kaputt. Ein Update soll es richten.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Saturn-Aktion: Win 10-Laptop/PC kaufen, kostenloses Upgrade auf Windows 11 erhalten • Bosch Professional & PC-Spiele von EA günstiger • Alternate (u. a. Asus TUF 23,8" FHD 165Hz 179,90€) • Nur noch heute PS5-Gewinnspiel bei Amazon • 7 Tage Samsung-Angebote [Werbung]
    •  /