KI im Unternehmen: Wie ein Mittelständler mit eigener KI produktiver wurde
Wenn Michael Merscher von Lukas erzählt, ist es fast unmöglich, sich nicht von seiner Begeisterung anstecken zu lassen. Lukas ist ein KI-Assistent, den der technische Leiter des mittelständischen Unternehmens Lunos(öffnet im neuen Fenster) und der Softwareentwickler Vincent Münze entwickelt haben. Merscher sagt: Das kann jeder, und in jedem Unternehmen gibt es Einsatzmöglichkeiten. Weder er noch Lunos haben einen IT-Hintergrund. Merscher ist Maschinenbauingenieur, Lunos entwickelt, baut und plant seit 1959 Lüftungstechnik und -systeme.
Auch für Vincent Münze war KI Neuland. Er und Merscher haben sich von Null eingearbeitet. Ohne externe Unterstützung wie Consultants haben sie in weniger als einem Jahr einen KI-Assistenten entwickelt, auf den manches große Unternehmen neidisch sein dürfte. Der KI-Assistent funktioniert zudem zunehmend mit eigener Hardware, die nicht einmal teuer war. Golem.de hat mit Michael Merscher über Erfahrungen und Herausforderungen gesprochen und erfahren, wie einfach es ist, einen eigenen Assistenten zu entwickeln.
Geboren wurde Lukas aus einem Dilemma und der Ahnung, dass KI eine Lösung sein könnte. Lunos hat zwei Standorte in Berlin-Spandau und im nahen Falkensee, insgesamt beschäftigt das Unternehmen 110 Mitarbeiter. Verkauft werden die Produkte weltweit. Entsprechend wollen auch internationale Kunden beraten und Handwerker, Architektinnen und Planer unterstützt werden.
Das bringt gleich eine Reihe von Herausforderungen mit sich: die Zeitverschiebung - "wenn die Handwerker in Australien mittags auf der Baustelle stehen, ist Mitternacht bei uns" -, Sprachbarrieren (für einige Länder sind Dolmetscher erforderlich) und nicht zuletzt unterschiedliche Normen.
Der Kundendienst, der niemals schläft
Selbst bei einem Projekt in Deutschland kann es Probleme geben, wenn mehrere Mitarbeiter es betreuen. Alle Beteiligten stets auf dem gleichen Stand zu halten, ist eine Herausforderung. Für Endkunden von Lunos-Systemen - direkte Kunden sind Installateure und Großhändler - soll das System einmal rund um die Uhr als technischer Ansprechpartner in ihrer Muttersprache zur Verfügung stehen.
Viel Wert legt Merscher darauf, dass Lukas möglichst menschlich wirkt. Kunden sollen sich mit der Kommunikation wohlfühlen und genauso professionell, kompetent und sympathisch beraten werden wie von menschlichen Kollegen. Die soll der Agent nicht ersetzen, sie bleiben weiterhin als Ansprechpartner verfügbar.
"Die letzten zwei, drei Prozent wird eine KI nicht hinkriegen, das ist zumindest aktuell so der Stand" , sagt Merscher. Lukas gibt sich zudem eindeutig als KI-Agent zu erkennen. Ganz bereit für den Kontakt mit Endkunden ist das System aber noch nicht; Merscher geht davon aus, dass es zwischen September und November 2025 so weit sein wird. Momentan steht Lukas den Mitarbeitern zur Verfügung und unterstützt bei Routineaufgaben.
Lukas weiß immer Rat
Wie Merscher uns erklärt, besteht Lukas aus einer Reihe einzelner Systeme und lernt ständig neue Fähigkeiten. Der Agent verwaltet nicht nur diese Informationen, sondern das gesamte Wissen bei Lunos: Produktdatenbanken, Anleitungen, Schulungsmaterial, Strategien zur Problemlösung. Kundendienstler können Sprachnotizen transkribieren und einpflegen lassen, um Informationen aus Kundengesprächen auch unterwegs einzufügen.
All diese Informationen können über ein selbst entwickeltes Web-Frontend in natürlicher Sprache abgerufen werden. Lukas ist aber mehr als ein Chatbot, darauf legt Merscher Wert: Der Agent basiert auf mehreren LLMs (Large Language Models) mit spezifischen Aufgaben.
Dazu zählt die gezielte Wissensvermittlung, "als würde ich als Vortragender vor einer großen Menge Menschen stehen" , sagt Merscher, oder das Unterbreiten von Vorschlägen, um Kunden und Planer zu beraten, durch Nachfragen ihre Anforderungen zu erkennen und ihnen möglicherweise besser passende Optionen anzubieten. Hinzu kommen Modelle für den internen Gebrauch.
Auch für verschiedene Sprachen existieren unterschiedliche LLMs, damit die richtigen Informationen herausgegeben und abhängig vom jeweiligen Sprachgebrauch aufbereitet werden können. Zudem hat sich laut Merscher gezeigt, dass Kunden in anderen Ländern teilweise andere Fragen haben oder Systeme anders nutzen als in Deutschland. Auch darauf gehen die länderspezifischen LLMs ein. Einige funktionieren bereits, daran arbeiten Merscher und Münze aktuell aber noch.
Insgesamt ist Lukas mehr als eine Wissensdatenbank.
Lukas vervielfacht die Produktivität
Die Modelle greifen nicht nur auf Informationen in mehreren Datenbanken zurück, die Merscher pflegt, während Münze sich um Hard- und Software kümmert. Beim Erstellen von Texten halten sie sich an eine vorgegebene Semantik, die den Modellen mithilfe von Transkripten und E-Mails antrainiert wurde.
Den Entwicklern fallen permanent neue Anwendungsmöglichkeiten ein: speziell auf den Bedarf eines Kunden reduzierte Handbücher, die Ausarbeitung von E-Mails - inklusive Variationen, um sie persönlicher zu gestalten - oder die Verlängerung von Texten, etwa für Marketingzwecke.
Die E-Mail-Funktionalität erhöhe die Produktivität enorm, sagt Merscher: "Wir können das in einer Geschwindigkeit machen, die sonst nicht möglich wäre oder nur mit geschätzt zehnmal so viel Personal." Sie sorgt zudem für eine einheitliche Kommunikation und hilft durch eine Prüfung des Inhalts, Fehler zu vermeiden. Auch Ausschreibungsunterlagen kann Lukas mittlerweile zusammenfassen und sogar Installationen planen. Der Agent benötigt 40 Sekunden für eine Aufgabe, an der ein Ingenieur zwei Stunden gearbeitet hätte.
Datenaufbereitung ist zentral
Bei der Entwicklung war eine der ersten Lektionen, dass ein leistungsfähiges Modell allein nichts bringt. Wichtig sei eine gute Aufbereitung der Trainingsdaten, sagt Merscher: "Ich kann heute ein einfaches oder schon überholtes LLM nutzen, wenn ich eine gute Datenbasis habe, und ich kriege gute Ergebnisse raus. Ich kann aber auch das perfekte LLM benutzen, habe eine schlechte Datenbasis und kriege nur Schrott raus."
Anfangs habe man gedacht, es genüge, einem LLM einen Produktkatalog, Datenblätter und Einbauanleitungen zur Verfügung zu stellen - irgendetwas finde es dann schon. "Ja, irgendwas findet er, aber nicht das, was man sucht" , so Merscher. Innerhalb von etwa einer Woche habe man gelernt, eine zielführende Wissensdatenbank aufzubauen. Die orientiert sich an den zu bearbeitenden Anfragen. Lunos arbeitet hier mit Frage-Antwort-Paaren, die manuell oder auf Basis anonymisierter Kundenanfragen generiert werden.
Damit können die LLMs Dokumente durchsuchen und die relevanten Informationen lernen. Auch das Schreiben guter Prompts mussten Merscher und Münze lernen, um Daten und Quellenangaben zu schützen. Bei der Datenaufbereitung, die viel Zeit beansprucht, unterstützte bereits nach kurzer Zeit auch KI - was die Entwicklung immens beschleunigt.
KI hilft bei KI-Entwicklung
Merscher sagt uns, dass die Entwicklung von Lukas schneller gegangen sei, als er und Münze zunächst erwartet hätten: "Wir haben Mitte letzten Jahres mit der KI-Einführung angefangen, davor haben wir nichts mit KI gemacht. Da war unser Zeitplan, dass wir innerhalb von einem Jahr ein Grundgerüst machen, so dass wir mit der firmeninternen Phase in Deutschland starten können." Dieses Ziel war nach zwei Monaten erreicht, einen weiteren Monat später startete die internationale Phase.
KI war auch ein Grund für den schnellen Fortschritt: Die Datenaufbereitung und Umsetzung neuer Features wird unterstützt. "Wir sehen, dass wir da eine nahezu exponentielle Entwicklung in den KI-Technologien haben." Anfangs habe man die Frage-Antwort-Paare händisch geschrieben. Das habe bald darauf bereits ein LLM übernommen, das Fragen und Antworten auch noch SEO-optimiere und mit Metadaten versehe.
Mittlerweile kann das System direkt Dokumente verarbeiten, die vorher zunächst in Markdown konvertiert werden mussten. Lediglich eine kurze Kontrolle der erzeugten JSON-Daten ist noch erforderlich. Merscher verdeutlicht den Produktivitätsgewinn: "Aufgaben sind jetzt in fünf Minuten erledigt, für die ich vorher einen Tag gebraucht habe."
Für die Aufgaben setzt Lunos eine Reihe verschiedener LLMs ein und probiert ständig Neues aus.
Diese LLMs und Hardware nutzt Lunos
Dass Merscher und Münze überhaupt mit der Entwicklung eines eigenen Agenten begannen, lag daran, dass es kein kommerzielles Angebot gab, das ihren Vorstellungen entsprach. Die ersten Gehversuche mit KI machten sie noch mit Custom GPTs, also an spezifische Bedürfnisse angepassten Varianten von OpenAI-LLMs. Aktuell, so schätzt Merscher, laufen etwa 80 Prozent der Aufgaben per API mit ChatGPT 4o und o3.
Als Grund nennt Merscher, dass bei OpenAI viele Funktionen integriert und damit einfach nutzbar seien: OCR und Bilderkennung, Datenbanken und die integrierte Python-Umgebung seien hier einfacher nutzbar als bei lokalen LLMs. Das ändere sich aber aktuell, Münze arbeite aktuell an einer Anbindung der Wissensdatenbank für die auf eigener Hardware laufenden lokalen Modelle. Auf solche Modelle wolle man bei Lunos langfristig komplett setzen.
Freie Modelle seien seit einigen Monaten so gut, dass sie als Alternative zu ChatGPT infrage kämen, sagt Merscher. Auf die steige man mehr und mehr um, schon allein, um keine Unternehmensdaten mehr herausgeben zu müssen.
Aktuell nutzt Lunos eine Reihe freier LLMs: Deepseek-R1 (32B und 70B), Qwen, Openthinker und Qwen 2.5 Coder. Da sie nicht von Grund auf trainiert, sondern nur angepasst werden, genügt wenig Hardware.
Hardware für 3.500 Euro ist schon überdimensioniert
Für Merscher ist besonders wichtig, dass Lukas bei Lunos läuft und das Unternehmen die Kontrolle über Daten und Agent hat. Die Hardware dafür ist überraschend unspektakulär. Wir haben aufgrund des größeren Speichers mindestens mit Workstation-GPUs von Nvidia gerechnet, tatsächlich reicht Consumer-Hardware.
Zwei Nvidia RTX 4090 mit je 24 GByte Video-RAM ( Test ), ein Ryzen 7 7700 und 128 GByte RAM, alles wassergekühlt. Gesamtkosten: 3.500 Euro netto, als Unternehmen kann Lunos zudem etwas günstiger kaufen als Privatkunden. Eigentlich reiche eine GPU, doch man habe zukunftssicher geplant, sagt Merscher. Allerdings sei er gespannt auf Nvidias DGX Spark .
Die Rechenleistung der aktuellen Hardware reiche vollkommen, selbst bei parallelen Anfragen. Denn einerseits werde Lukas aktuell nur von rund 100 Personen genutzt, andererseits seien Latenzen irrelevant, da Anfragen nicht in Echtzeit bearbeitet werden müssten. Das könne sich ändern, wenn Lukas irgendwann auch telefonieren könne. Bei einigen Aufgaben wie der Erstellung von E-Mails wolle man nicht innerhalb weniger Sekunden antworten - das täte ein Mensch ja auch nicht.
Deepseek habe zudem gezeigt , dass auch mit weniger Hardwareaufwand konkurrenzfähige Modelle möglich seien. Generell steige die Leistungsfähigkeit bei gleichbleibender Parameteranzahl, sagt Merscher, so dass bei gleichem Rechenaufwand mit der Zeit bessere Ergebnisse erreichbar seien.
Der Rechner für die LLMs ist von Lunos internem Netz getrennt, er läuft in einer sogenannten DMZ(öffnet im neuen Fenster) (für demilitarisierte Zone). Dort habe man sich viel Zeit gelassen, um das System abzusichern, sagt Merscher. Bei Lunos sei der eigene Server nach einem halben Jahr gelaufen, mit dem entsprechenden Vorwissen sei das aber auch deutlich schneller möglich - ein laufendes System innerhalb von zwei Wochen hält Merscher für realistisch.
Zwei Entwickler, ein halbes Jahr, ein fertiger Agent
Große Ressourcen benötige ein solches Projekt nicht, zu zweit solle man es aber mindestens angehen, sagt Merscher: "Man braucht doch so ein Gegenüber, mit dem man sich mal hinsetzen kann. Hast du hieran gedacht, hast du daran gedacht? Guck mal, wollen wir das nicht so machen?"
Selbst ohne Vorwissen zu KI und LLMs könne man so innerhalb eines halben Jahres ein komplett autarkes, lokales System entwickeln, das deutlich mehr könne als ein Chatbot und von einem menschlichen Kommunikationspartner nicht zu unterscheiden sei. Vorkenntnisse bezüglich Hardware und Softwareentwicklung sind allerdings Voraussetzung.
Kommerzialisieren will Lunos das System aktuell nicht. Man wolle beim Kerngeschäft bleiben, sagt Merscher - fügt aber hinzu, man könne die Idee vielleicht noch einmal hervorholen, wenn die Baubranche weiter schwächele. Die eigenen Erfahrungen gibt Lunos aber bereitwillig an andere Unternehmen weiter: "Wir sind gern bereit, hier und da zu unterstützen und auch unsere Erfahrungen zu teilen und vielleicht auch zu sagen, in welche Richtung man was wie machen sollte."
Aus diesem Grund steht auch 2025 wieder ein Besuch beim Big Bang KI Festival in Berlin auf dem Programm - mit dem fing 2024 für Lunos alles an. Die schier endlosen Einsatzmöglichkeiten von KI hätten ihn begeistert, erzählt Merscher. Es gebe viel Potenzial für echte Veränderungen, auch in Branchen abseits der IT.