Lokales Sprachmodell: Vom Ollama-Demo zur produktiven Open-LLM-App
Ein ollama run phi4-mini, ein paar Zeilen Python, eine Antwort vom lokalen Modell – so endete 2025 ein Golem Deep-Dive über offene Sprachmodelle (g+). Das Fazit lautete, es sei "beeindruckend, dass dieses Open-Source-Sprachmodell so einfach lokal zur Verfügung stehen kann". Ich habe mich gefragt: Für welche Art von Aufgaben ist ein Large Language Model, kurz LLM, denn sinnvoll? Und wie bindet man offene Modelle so in die eigene Anwendung ein, dass man nicht von großen Anbietern (und der Politik) abhängig bleibt? Da man offene Modelle selbst betreiben kann, spielen sie überall dort, wo Datenschutz ein Kriterium ist, eine wichtige Rolle.
Sobald aus dem Chat etwas Größeres werden soll, reicht es nicht mehr, dass ein LLM eine plausible Antwort formuliert. Die Anwendung muss vorher entscheiden, welche Dokumente das Modell überhaupt sehen darf, ob die gefundenen Stellen gut genug sind, welche Daten die Maschine verlassen und ob ein anderes Modell nach einem Wechsel noch dieselben Fehlerfälle besteht. Für diesen Artikel habe ich deshalb keinen weiteren Modellvergleich gebaut, sondern einen lokalen Dokumentenassistenten, der ein paar Markdown-Dateien einliest, Abschnitte in PostgreSQL mit der Erweiterung pgvector ablegt und Fragen dazu beantwortet. Das offene Modell ist der Anfang. Die Anwendung entsteht drumherum, und genau dieses Drumherum zeige ich hier Schritt für Schritt.