Digitale Souveränität: Lokale KI für das GPU-Proletariat

Lokale LLMs sind nur was für Leute mit ordentlich GPU und VRAM. Normale Nutzer schauen in die Röhre. Was wäre, wenn es dafür eine Lösung gäbe?

10. Juli 2026 um 13:30 Uhr / Eine Anleitung von Stefanie Schmidt

KI geht auch digital souverän und ohne superteure Hardware. Bild: BrianPenny/Pixabay

KI, vor allem die Sprachmodelle, hat es geschafft, in weniger als vier Jahren allgegenwärtig zu sein. Ob Generierung von Text, Bildern, Videos, Musik und Unterstützung in der IT, man entkommt ihr nicht. Zugleich wird man auf Webseiten zunehmend mit Chatbots konfrontiert, die einem weiterhelfen sollen, wenn man eine Frage hat. Selbst als nicht ITler wird man also zwangsläufig mit KI konfrontiert.

Mittlerweile ist es keine Frage mehr, ob man in der Softwareentwicklung KI verwendet. Die Nutzung ist quasi obligatorisch geworden. Das liegt nicht zuletzt an Copilot und den Copilot-Erweiterungen, die man seiner IDE hinzufügen kann. Das ist nicht einfach nur bequem, es kann auch dabei helfen, Fehler zu finden oder repetitiven Code aufzuspüren (Verletzung von DRY =ᐳ Don't Repeat Yourself). Doch die Nutzung nicht lokaler KI-Modelle hat große Nachteile. Wir setzen hier deswegen ein lokales LLM auf – und zwar eines, das sich auch mit superteurer Hardware betreiben lässt.