Sparsity erklärt: Wie KI-Beschleuniger ihre Rechenleistung vervielfachen

Algorithmus des Monats

Das Feature Sparsity verdoppelt bei Nvidia und AMD die Rechenleistung. Wir erklären, was es damit auf sich hat und warum es für KI interessant ist - obwohl es nicht neu ist.

24. Dezember 2023 um 11:00 Uhr / Von Johannes Hiltscher

Ein halbvoller Parkplatz sieht von oben aus wie eine dünnbesetzte Matrix. Bild: Kelly/Pexels / CC0 1.0

Bei Nvidias Rechen-GPUs finden sich seit der Ampere-Generation (g+) zwei Angaben zur Rechenleistung: Ein Feature namens Sparsity vervierfacht seitdem die Rechenleistung, allerdings nur bei den KI-Datentypen BF32, FP16 und Int8.

Dahinter steht ein mathematisches Konzept: sogenannte dünnbesetzte Matrizen , auf Englisch sparse matrices. Die haben durch den KI-Boom breites Interesse gefunden, in der Mathematik und dem wissenschaftlichen Rechnen aber schon eine deutlich längere Geschichte. Algorithmen zum effizienten Rechnen damit gibt es entsprechend schon lange, Nvidias Implementierung ist allerdings speziell.