Fürs Hochskalieren von KI braucht es besondere Talente
Die von Meta abgeworbenen Experten, bei denen über größere Ablösesummen spekuliert wurde, lassen sich im Groben in drei Kategorien einteilen: Mitarbeiter mit viel Erfahrung im Training von großen und mächtigen Assistenz-Modellen wie GPT-4, Experten für das Lernen von möglichst nützlichen und flexibel einsetzbaren Repräsentationen von Daten sowie Spezialisten für die Kuration von Daten.
Meta setzt also auf einen Mix aus Erfahrung mit riesigen Modellen, klug ausgewählten Repräsentationen und hochwertigen Daten. Daraus lässt sich vorsichtig schließen, dass der bisherige Ansatz von mehr Rechenleistung und mehr Daten nicht mehr ganz aufgeht: Irgendwann ist selbst das Internet als größtmögliche Quelle an Daten vollständig leergefischt und auch eine Verdopplung der Rechenkapazitäten nicht mehr wirtschaftlich.
Also wird möglicherweise umgeschwenkt. Es wird vermutlich mit mehr synthetischen und aufbereiteten Daten gearbeitet sowie auf klügere, teilweise vorab gelernte Repräsentationen gesetzt, die die Rechenleistung effizienter werden lassen, genau wie die eingekauften Experten wohl vor allem für die möglichst effiziente Skalierung von Rechenleistung gebraucht werden.
Denn so trivial es auf den ersten Blick klingt: Ein Hochskalieren von Rechenleistung bringt einen ganz eigenen Haufen von Problemen mit sich. Bestimmte Designs verhalten sich auf größeren Skalen anders als erwartet, Netze brauchen plötzlich andere Einstellungen zum Training oder offenbaren unerwartete Probleme. Die hohen, wenn auch in Wirklichkeit mit Sicherheit nicht ganz so absurden Gehälter sind also vermutlich kalkulierte Investitionen, die vorhandenen und geplanten Elemente besser zu nutzen.
In Zeiten, in denen beispielsweise KI-Chiphersteller Nvidia mehr wert ist als alle großen Pharmakonzerne zusammen(öffnet im neuen Fenster) , das verhältnismäßig junge Unternehmen OpenAI durch einen Einstieg bei AMD einen regelrechten Kursrausch auslöst und grenzenloser Optimismus in Bezug auf potenzielle Billionengewinne sämtliche KI-Aktien in die Höhe schießen lässt, war das vielleicht nicht einmal die Spitze des Eisbergs. Und dann sind ein paar Millionen für einen möglichen Spitzenforscher vielleicht sogar noch günstig.
Tim Elsner(öffnet im neuen Fenster) wartet trotz seiner frisch ausgezeichneten Forschungsarbeit(öffnet im neuen Fenster) zum Lernen von Repräsentationen noch auf ein Angebot in Millionenhöhe von Meta. Bis das endlich kommt, schult, berät und entwickelt er freiberuflich für Firmen im Bereich KI.