KI-Training: Am Limit des Machbaren
Beim Training von KI haben größere Modelle, umfangreichere Datensätze und immer mehr Rechenleistung in den vergangenen Jahren zu stetig steigenden Modellleistungen geführt. Dieser Trend ist durch empirische Scaling Laws gut dokumentiert. Wie Kaplan und Kolleginnen schon 2020 herausgefunden haben(öffnet im neuen Fenster) , verbessert sich die Modellleistung bei wachsender Parameterzahl, Datenmenge und Trainings-Compute stetig und zeigt über mehrere Größenordnungen ein glattes Leistungsverhalten. Weitere Analysen zeigten, dass für ein rechnerisch optimales Training (Compute-optimal) sowohl Parameterzahl als auch Datenmenge hochskaliert sein müssen. Hält man eine Komponente konstant, treten schnell abnehmende Erträge auf.
Die frühen Arbeiten legten die Grundlage für heutige Debatten um die sogenannte Efficient-Compute-Frontier. Mit Compute-Frontier ist die jeweils erreichbare Leistungsgrenze von KI-Modellen bei gegebenem Rechenaufwand beziehungsweise Rechenbudget gemeint. Also umgangssprachlich der "Stand des Machbaren", begrenzt durch die verfügbare Rechenleistung und Effizienz.