GPU-Programmierung: OpenAI baut einfachen und freien Cuda-Ersatz

Mit Triton haben die KI-Spezialisten von OpenAI eine eigene freie Sprache samt Compiler erstellt, die für Deep Learning gedacht ist.

Artikel veröffentlicht am ,
Triton soll die GPU-Programmierung für Deep Learning vereinfachen.
Triton soll die GPU-Programmierung für Deep Learning vereinfachen. (Bild: Jean-Pierre Dalbéra/Wikimedia/CC-BY 2.0)

Das Team von OpenAI hat das Open-Source-Projekt Triton veröffentlicht. Dabei handelt es sich laut Ankündigung um eine an Python angelehnte Programmiersprache, die explizit dazu gedacht ist, jenen Entwicklern, die keine Erfahrung mit Nvidias Cuda haben, Technik an die Hand zu geben, mit der sehr effizienter GPU-Code erstellt werden kann. Triton ermögliche dabei Code, der so gut sei wie jener, der von Experten erstellt worden sei, heißt es.

Stellenmarkt
  1. Referat Organisationsmanagement, Abteilung Informations- und Kommunikationstechnik
    Stadtverwaltung Kaiserslautern, Kaiserslautern
  2. Senior Consultant IT-Operation (m/w/d)
    operational services GmbH & Co. KG, Frankfurt am Main
Detailsuche

Ziel von Triton ist es, komplexe und nur schwer effizient zu implementierende Berechnungen möglichst einfach umzusetzen. In der Ankündigung nennt das Team, das etwa für die Sprachmodelle GPT-2 und GPT-3 bekannt ist, als Beispiele Kernel zur Matrixmultiplikation von Gleitkommazahlen mit halber Genauigkeit (FP16). Dafür seien mit Triton lediglich 25 Zeilen Code notwendig, die Leistung erreiche aber jene der CuBLAS-Bibliothek von Nvidia.

Die Idee für Triton stammt aus der Erkenntnis, dass zur Umsetzung neuer Deep-Learning-Forschungsideen oft zahlreiche Tensoren erstellt werden müssen, was deutliche Leistungseinbußen bringen kann. Umgangen werden könne das zwar durch das Erstellen von GPU-Kerneln, sei oft aber sehr schwierig, da dafür eine direkt GPU-Programmierung notwendig sei.

Diese Vereinfachung im Vergleich zu bestehenden Techniken wie Cuda soll vor allem dadurch erreicht werden, dass Triton über seine Compiler Dinge umsetzt, die sonst händisch umgesetzt werden müssten. Dazu gehört das sogenannte Memory Coalescing, also das Zusammenführen von Speicherzugriffen, die eigentliche Speicherverwaltung sowie das Scheduling von Aufgaben auf einzelne Stream-Processor.

Golem ULTRA
Golem Akademie
  1. Linux-Shellprogrammierung
    2.-5. November 2021, online
  2. Einführung in die Programmierung mit Rust
    21.-24. September 2021, online
  3. Docker & Containers - From Zero to Hero
    27.-29. Oktober 2021, online
Weitere IT-Trainings

Die Triton-Technik steht als Open Source unter einer freizügigen Lizenz zum Download auf Github bereit. Der für Triton genutzte Compiler basiert dabei auf dem LLVM-Framework und nutzt ein eigene speziell erstellte Zwischenschicht (IR).

Bitte aktivieren Sie Javascript.
Oder nutzen Sie das Golem-pur-Angebot
und lesen Golem.de
  • ohne Werbung
  • mit ausgeschaltetem Javascript
  • mit RSS-Volltext-Feed


Steffo 29. Jul 2021 / Themenstart

Man könnte soweit ich weiß einfach PyTorch nehmen. Ich schätze aber mal, dass sich Triton...

Jojo! 29. Jul 2021 / Themenstart

Naja. All zu bald wird das sicherlich nicht sein, wenn überhaupt und dann evetuell auch...

Jojo! 29. Jul 2021 / Themenstart

Das klingt so, als ob CUDA dafür entwickelt worden wäre Neuronale Netze zu programmieren...

Kommentieren



Aktuell auf der Startseite von Golem.de
Datenleck
Daten von 106 Millionen Thailand-Reisenden geleakt

In einer ungeschützten Datenbank fanden sich die Daten der Thailand-Reisenden aus den letzten zehn Jahren - inklusive Reisepassnummern.

Datenleck: Daten von 106 Millionen Thailand-Reisenden geleakt
Artikel
  1. Betriebssystem: Einige Windows-11-Apps funktionieren nicht ohne Internet
    Betriebssystem
    Einige Windows-11-Apps funktionieren nicht ohne Internet

    Um Platz zu sparen, müssen sich einige vorinstallierte Windows-11-Apps mit dem Internet verbinden. Auch ein Microsoft-Konto ist dafür nötig.

  2. WLAN und 6 GHz: Was bringt Wi-Fi 6E?
    WLAN und 6 GHz
    Was bringt Wi-Fi 6E?

    Der Standard Wi-Fi 6E erweitert WLAN das erste Mal seit Jahren um ein neues Frequenzband. Das hat viele Vorteile und ein paar Nachteile.
    Von Oliver Nickel

  3. LG-Fernseher mit bis zu 1.000 Euro Cashback bei Saturn
     
    LG-Fernseher mit bis zu 1.000 Euro Cashback bei Saturn

    Saturn bietet zurzeit Fernseher von LG mit Cashback an. Wer von den hohen Rabatten profitieren will, hat noch bis Ende des Monats Zeit.
    Ausgewählte Angebote des E-Commerce-Teams

Du willst dich mit Golem.de beruflich verändern oder weiterbilden?
Zum Stellenmarkt
Zur Akademie
Zum Coaching
  • Schnäppchen, Rabatte und Top-Angebote
    Die besten Deals des Tages
    Daily Deals • Asus 23,8" FHD 144Hz 166,90€ • PS5 bei Amazon zu gewinnen • PCGH-PC mit Ryzen 5 & RTX 3060 999€ • Corsair MP600 Pro 1TB mit Heatspreader PS5-kompatibel 162,90€ • Alternate (u. a. Asus WLAN-Adapter PCIe 24,90€) • MM-Prospekt (u. a. Asus TUF 17" i5 RTX 3050 1.099€) [Werbung]
    •  /