RAG'n Roll: KI-Chatbots mit internem Wissen erklärt
ChatGPT, Copilot, Claude, Le Chat und viele weitere ähnliche Webdienste stellen leistungsfähige Chatbots auf Basis von Large Language Models (LLM) bereit. Diese LLMs wurden auf riesigen, öffentlich über das Internet einsehbaren (und manchmal wohl auch aus urheberrechtlich schwierigen ) Quellen trainiert. Sie haben damit ein umfassendes Wissen zu allen möglichen Themen, doch zeigt sich gerade beim firmeninternen Einsatz ein Grundproblem: Mitarbeiter wollen zur Lösung ihrer Fragestellungen Chatbots, die den ihnen bekannten, öffentlichen ähnlich sind – aber diese Chatbots sollen firmeninternes Wissen bereitstellen.
Das Training eines LLMs mit diesem internen Wissen scheidet jedoch in der Regel aus. Es ist oft zu wenig Expertise dafür im Unternehmen vorhanden, aufgrund hoher Hardwareanforderungen ist es zu teuer, und infolge langer Trainingszeiten kann das LLM nicht dynamisch an neue Inhalte angepasst werden. Mit Retrieval-Augmented Generation (RAG) gibt es aber eine effiziente und relativ einfache Technik, mit der dennoch Chatbots auf LLM-Basis mit internem Wissen bereitgestellt werden können. Diese Lösung ist heute Stand der Technik für domänenspezifische Chatbots. Der folgende Artikel zeigt neben der grundlegenden Funktionsweise, den Vor- und Nachteilen und nützlichen Tools auch jüngste Weiterentwicklungen auf, um die noch vorhandenen Schwächen auszugleichen.