Für LLM, Whisper & Co.: Wie KI auf die eigene Hardware kommt

KI auf eigener Hardware zu nutzen, ist gar nicht so schwer. Wir zeigen zwei Ansätze, einer kommt ohne Programmierkenntnisse aus.

18. Mai 2026 um 08:24 Uhr / Eine Anleitung von Johannes Hiltscher

Ein Lama auf einer Radeon RX 7600 XT - auf der bei uns llama.cpp läuft. Bild: Johannes Hiltscher/Golem.de

Lokal gehostete KI-Modelle können eine interessante Alternative zur Cloud sein. Ein Frontier-Sprachmodell ist damit zwar nicht zu ersetzen, doch für Bildgeneratoren, Text- und Bilderkennung zur Digitalisierung und Verschlagwortung von Bildern oder Whisper zur Transkription genügt auch typische Heim-Hardware. Starten wir mit einem Blick auf die sinnvolle Ausstattung, bevor wir uns zwei Varianten ansehen, wie die Modelle darauf zum Laufen gebracht werden.

Die wichtigste Voraussetzung ist immer: genug RAM. Sprachmodelle (Large Language Models, LLMs) brauchen, mit wenigen Ausnahmen, mehrere GByte. Als Daumenregel gilt: je mehr, desto leistungsfähiger das Modell. Bildgeneratoren und Transkriptionsmodelle liegen in einer ähnlichen Größenordnung. Modelle zur Bilderkennung hingegen sind teilweise regelrecht winzig – mit Millionen statt Milliarden Parametern benötigen sie nur wenige MByte.