Günstig selbst KI trainieren: LLMs und Co. mit wenig Hardware und Daten trainieren
Das Training großer Modelle, vor allem von LLMs und VLMs, ist teuer, langwierig, kompliziert und benötigt eine massive Infrastruktur mit Millionen von GPU-Stunden. Dennoch lassen sich, wenn man sich clever anstellt, auch komplexere Probleme mit wenigen Beispielen lernen, teilweise sogar von null an.
Ein Extrembeispiel dafür lieferte vor kurzem Andrej Karpathy, einer der Gründer und Vordenker bei OpenAI: In seinem neuesten Projekt(öffnet im neuen Fenster) fasst er kompakt zusammen, wie man mit wenigen Hundert Dollar an Budget und einer kleinen, überschaubaren Codebasis ein eigenes, neues ChatGPT komplett von Anfang an trainiert. Zwar ist das Modell im Vergleich zu den aktuellen Modellen natürlich massiv unterlegen, aber es zeigt eindrucksvoll, dass beispielsweise LLM- und VLM-Training bezahlbar wird, wenn man clever vorgeht.