Künstliche Intelligenz: Ein lokales RAG-System aufbauen

Weniger KI-Halluzinationen, mehr Kontrolle: In diesem Tutorial beschreiben wir, wie ein RAG-System aufgebaut wird, das nur auf Basis ausgewählter Dokumente antwortet.

29. Mai 2026 um 13:30 Uhr / Eine Anleitung von Klaus Manhart

Das RAG-Modell beantwortet eine Frage auf Basis der Dokumente, die zuvor aus einer Datenbank abgerufen wurden. Bild: qimono/Pixabay

Large Language Models (LLMs) sind heute erstaunlich leistungsfähig, stoßen in der professionellen Anwendung jedoch an drei strukturelle Grenzen. Zum einen verfügen sie über ein statisches Wissen: Alles, was nach dem Training passiert ist, kennen sie nicht. Aktuelle Entwicklungen oder neue Inhalte bleiben außen vor. Zum anderen fehlt ihnen der Zugriff auf proprietäre Daten. Interne Dokumente, Verträge oder lokale Dateien sind für ein Modell ohne zusätzliche Infrastruktur unsichtbar.

Hinzu kommt das Problem der Halluzinationen: Wenn Informationen fehlen, erzeugen Modelle mitunter plausible, aber falsche Aussagen. Ohne Quellenangaben bleibt die Verlässlichkeit schwer überprüfbar. Diese Defizite führen dazu, dass LLMs allein oft nur als allgemeine Schreibassistenten fungieren, aber nicht als verlässliche Experten für spezifische, aktuelle Fragestellungen.