Turboquant: Googles Kompression soll RAM-Bedarf von LLMs extrem senken
Machine-Learning-Modelle benötigen viel Arbeitsspeicher. Google hat nun einige neue Algorithmen vorgestellt(öffnet im neuen Fenster) , die dieses Problem angehen sollen. Dabei soll nicht nur Speicher gespart, sondern auch die bei LLMs oft genutzte Vektorsuche schneller und effizienter gemacht werden. Vektoren als mathematische Objekte sind ein wichtiger Bestandteil moderner LLMs und dienen ihnen zur Verarbeitung und Strukturierung von Daten.
Googles Turboquant kombiniert zwei weitere Projekte zu einem effizienten Kompressionsalgorithmus. Zum einen soll QJL (Quantized Johnson-Lindenstrauss) als Fehlerprüfungsschritt genutzt werden, um so etwa Modell-Bias zu minimieren. Über QJL werden höher dimensionierte Daten so verkleinert, dass jeder Vektorenwert nur durch ein einzelnes Sign-Bit repräsentiert wird. Dabei sollen die Distanzen und Relationen zwischen verschiedenen Datenpunkten erhalten bleiben.
Aktien von RAM-Unternehmen sinken
Polarquant ist der zweite Teil von Turboquant. Dabei werden Standardkoordinaten eines Speichervektors in Paare aus Distanz und Winkel umgewandelt. Es werden also exakte kartesische Koordinatenpunkte(öffnet im neuen Fenster) wie X, Y und Z in Polarkoordinaten(öffnet im neuen Fenster) umgewandelt. "Es bildet die Daten auf ein festes, vorhersehbares kreisförmiges Raster ab, dessen Grenzen bereits bekannt sind, anstatt auf ein quadratisches Raster, dessen Grenzen sich ständig ändern" , schreibt Google. Dadurch kann der ressourcenbedürftige Datennormalisierungsschritt(öffnet im neuen Fenster) übersprungen werden, was vor allem Speicher spart.
Die Ankündigung von Turboquant soll LLMs effizienter und schneller machen. Und darauf haben auch schon einige Börsenkurse auf dem Markt reagiert: Microns Kurs sank um 4,5 Prozent, Samsung musste 2,46 Prozent einbüßen. Selbst die Börsenwerte einiger traditioneller Festplattenhersteller wie Western Digital und Seagate fielen um einige Prozentpunkte ab. Die Märkte sind aber teilweise auch durch die politische Lage im Nahen Osten und der Ukraine generell volatiler als sonst.
- Anzeige Hier geht es zu Künstliche Intelligenz: Wissensverarbeitung bei Amazon Wenn Sie auf diesen Link klicken und darüber einkaufen, erhält Golem eine kleine Provision. Dies ändert nichts am Preis der Artikel.