Künstliche Intelligenz: OpenAI senkt Inferenzkosten um mehr als die Hälfte
Ingenieure von OpenAI sollen eine Möglichkeit gefunden haben, die Inferenzkosten für bestehende KI-Modelle um mehr als die Hälfte zu senken. Wie The Information unter Berufung auf Informanten berichtet(öffnet im neuen Fenster), basiert dieser Erfolg auf einer neuen Optimierungsmethode, die erhebliche Effizienzsteigerungen bei der Bearbeitung von Anfragen an KI-Modelle ermöglicht.
Der Ansatz war demnach ursprünglich dafür gedacht, ChatGPT für Nutzer mit kostenlosen Konten effektiver bedienen zu können. Bei der Erprobung stellte sich aber heraus, dass die Anzahl der benötigten Nividia-GPUs für den Dienst auf wenige Hundert sank. Wie hoch die Zahl vorher war, wurde zwar nicht angegeben, beim Ergebnis soll es sich aber um eine überraschend niedrige Zahl handeln.
Welche Methode von OpenAI genau angewandt wurde, ist nicht bekannt. KI-Unternehmen verwenden zur Effizienzsteigerung aber in der Regel Techniken wie Quantisierung, das Speichern von Informationen aus vorherigen Berechnungen (Key-Value-Caching), Stapelverarbeitung und das Routing von Anfragen an kleinere, stromsparende Teile des Sprachmodells.
Auswirkungen könnten im Laufe des Jahres wieder abnehmen
Optimierungsmethoden für große Sprachmodelle werden als Compute Multiplier bezeichnet und von KI-Unternehmen häufig geheim gehalten, um sich einen Wettbewerbsvorteil zu sichern. Optimierungen tragen außerdem dazu bei, der mangelnden Verfügbarkeit von Rechenkapazitäten entgegenzuwirken.
Durch die erzielten Einsparungen könnte OpenAI seine Bruttogewinnmarge verbessern. Diese lag im ersten Quartal 2026 bei 39 Prozent und soll bis Ende des Jahres auf 52 Prozent steigen. OpenAI könnte die Ersparnisse auch an Kunden weitergeben und geringere API-Preise oder höhere Abfragelimits einführen, womit sich das Unternehmen eine Position als kostengünstigerer Anbieter gegenüber Wettbewerbern sichern könnte.
Wahrscheinlich ist aber auch, dass die Auswirkungen der Effizienzgewinne im Laufe des Jahres wieder abnehmen, weil größere Sprachmodelle mit mehr Parametern entwickelt werden.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.