Künstliche Intelligenz: Lokal gehostete Sprachmodelle auf SBCs
Digitale Souveränität wird auch beim Einsatz von künstlicher Intelligenz immer wichtiger. Entsprechend steigt das Interesse an lokal auf eigener Hardware einsetzbaren LLMs. Für spezialisierte Bereiche wie eng umgrenzte Anwendungen für KI-Agenten eignen sich inzwischen selbst Einplatinenrechner wie der Raspberry Pi und dessen zahlreiche Mitbewerber.
Bei SBCs kann man anders als bei PCs mit Prozessoren von Intel oder AMD keine leistungsfähigen Grafikkarten mit großem Grafikspeicher einbauen. Deshalb kommt es bei ihnen primär auf die CPU-Leistung in Kombination mit einer speziell für den Einsatz mit KI-Sprachmodellen entwickelten NPU (Neural Processing Unit)(öffnet im neuen Fenster) an. Für die Leistungsfähigkeit kommt es bei KI-Anwendungen nicht nur auf den vorhandenen Arbeitsspeicher an, sondern vor allem auf das exklusiv von der NPU genutzte RAM. Hier gilt: Je mehr, desto besser. Bei zu wenig Arbeitsspeicher muss die NPU Teile ins herkömmliche RAM auslagern, was die Gesamtleistung drastisch vermindert.