LiteLLM: LLM-Nutzung im Unternehmen kontrollierbar machen
Ein Team nutzt Azure OpenAI, weil der Zugang bereits über den Cloudvertrag vorhanden ist. Ein anderes testet Anthropic, weil es bei bestimmten Aufgaben bessere Ergebnisse liefert. Die Entwickler nebenan probieren Gemini aus, und für interne Experimente läuft vielleicht noch ein lokales Modell über Ollama. Für jedes Team ist das nachvollziehbar. Für die IT entsteht daraus schnell eine unbequeme Frage: Wer nutzt welches Modell, mit welchen Daten und zu welchen Kosten?
Hier beginnt das Governance-Problem. Unternehmen wollen KI-Nutzung ermöglichen, ohne jeden API-Key, jedes Modell und jeden Prototyp einzeln nachzuverfolgen. Ohne zentrale Sicht entstehen blinde Flecken bei Kosten, Datenschutz, Sicherheit und Betrieb. LiteLLM setzt an dieser Stelle an: als Gateway zwischen Anwendungen, Modellanbietern und weiteren KI-Bausteinen wie MCP-Servern, Skills oder Agents.