GPU-Programmierung: OpenAI baut einfachen und freien Cuda-Ersatz

Mit Triton haben die KI-Spezialisten von OpenAI eine eigene freie Sprache samt Compiler erstellt, die für Deep Learning gedacht ist.

Artikel veröffentlicht am ,
Triton soll die GPU-Programmierung für Deep Learning vereinfachen.
Triton soll die GPU-Programmierung für Deep Learning vereinfachen. (Bild: Jean-Pierre Dalbéra/Wikimedia/CC-BY 2.0)

Das Team von OpenAI hat das Open-Source-Projekt Triton veröffentlicht. Dabei handelt es sich laut Ankündigung um eine an Python angelehnte Programmiersprache, die explizit dazu gedacht ist, jenen Entwicklern, die keine Erfahrung mit Nvidias Cuda haben, Technik an die Hand zu geben, mit der sehr effizienter GPU-Code erstellt werden kann. Triton ermögliche dabei Code, der so gut sei wie jener, der von Experten erstellt worden sei, heißt es.

Stellenmarkt
  1. Softwareingenieur*in (m/w/d)
    Landeshauptstadt Stuttgart, Stuttgart
  2. Systembetreuer / Administrator (m/w/d) Sage 100
    Heidelberg Engineering GmbH, Heidelberg
Detailsuche

Ziel von Triton ist es, komplexe und nur schwer effizient zu implementierende Berechnungen möglichst einfach umzusetzen. In der Ankündigung nennt das Team, das etwa für die Sprachmodelle GPT-2 und GPT-3 bekannt ist, als Beispiele Kernel zur Matrixmultiplikation von Gleitkommazahlen mit halber Genauigkeit (FP16). Dafür seien mit Triton lediglich 25 Zeilen Code notwendig, die Leistung erreiche aber jene der CuBLAS-Bibliothek von Nvidia.

Die Idee für Triton stammt aus der Erkenntnis, dass zur Umsetzung neuer Deep-Learning-Forschungsideen oft zahlreiche Tensoren erstellt werden müssen, was deutliche Leistungseinbußen bringen kann. Umgangen werden könne das zwar durch das Erstellen von GPU-Kerneln, sei oft aber sehr schwierig, da dafür eine direkt GPU-Programmierung notwendig sei.

Diese Vereinfachung im Vergleich zu bestehenden Techniken wie Cuda soll vor allem dadurch erreicht werden, dass Triton über seine Compiler Dinge umsetzt, die sonst händisch umgesetzt werden müssten. Dazu gehört das sogenannte Memory Coalescing, also das Zusammenführen von Speicherzugriffen, die eigentliche Speicherverwaltung sowie das Scheduling von Aufgaben auf einzelne Stream-Processor.

Golem ULTRA
Golem Akademie
  1. Advanced Python - Fortgeschrittene Programmierthemen
    16./17. September 2021, online
  2. OpenShift Installation & Administration
    31. Januar-2. Februar 2022, online
  3. Elastic Stack Fundamentals - Elasticsearch, Logstash, Kibana, Beats
    26.-28. Oktober 2021, online
Weitere IT-Trainings

Die Triton-Technik steht als Open Source unter einer freizügigen Lizenz zum Download auf Github bereit. Der für Triton genutzte Compiler basiert dabei auf dem LLVM-Framework und nutzt ein eigene speziell erstellte Zwischenschicht (IR).

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Steffo 29. Jul 2021 / Themenstart

Man könnte soweit ich weiß einfach PyTorch nehmen. Ich schätze aber mal, dass sich Triton...

Jojo! 29. Jul 2021 / Themenstart

Naja. All zu bald wird das sicherlich nicht sein, wenn überhaupt und dann evetuell auch...

Jojo! 29. Jul 2021 / Themenstart

Das klingt so, als ob CUDA dafür entwickelt worden wäre Neuronale Netze zu programmieren...

Kommentieren



Aktuell auf der Startseite von Golem.de
Bundestagswahl 2021
Die Parteien im Datenschutz-Check

Gesagt, getan? Wir haben geprüft, was CDU, SPD, Grüne, FDP, Linke und AfD zum Datenschutz fordern - und was sie selbst auf ihren Webseiten umsetzen.
Eine Analyse von Christiane Schulzki-Haddouti

Bundestagswahl 2021: Die Parteien im Datenschutz-Check
Artikel
  1. ARM: Apples M1 bekommt ausführliche Reverse-Engineering-Doku
    ARM
    Apples M1 bekommt ausführliche Reverse-Engineering-Doku

    Wie genau funktioniert Apples M1-Chip? Diese Frage hat ein Entwickler durch ausgiebiges Reverse Engineering versucht zu beantworten.

  2. Kryptowährung: Kampf um Markenrechte an Dogecoin
    Kryptowährung
    Kampf um Markenrechte an Dogecoin

    Die Dogecoin Foundation hatte offenbar vergessen, sich die Markenrechte an der Kryptowährung zu sichern. Jetzt erheben andere Anspruch.

  3. Leserumfrage: Wie wünschst du dir Golem.de?
    Leserumfrage
    Wie wünschst du dir Golem.de?

    Ob du täglich mehrmals Golem.de liest oder ab und zu: Wir sind an deiner Meinung interessiert! Hilf uns, Golem.de noch besser zu machen - die Umfrage dauert weniger als 10 Minuten.

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • MM Club-Tage: Bis zu 15% auf TVs, PCs, Monitore uvm.) • Alternate (u. a. Razer Kraken X für Konsole 34,99€) • Xiaomi 11T 5G vorbestellbar 549€ • Saturn-Deals (u. a. Samsung 55" QLED (2021) 849,15€) • Logitech-Aktion: 20%-Rabattgutschein für ASOS • XMG-Notebooks mit 250€ Rabatt [Werbung]
    •  /