Ausgangssituation
Ein großes Unternehmen aus einem stark regulierten Umfeld sah sich mit einer dynamisch wachsenden KI-Landschaft konfrontiert. Verschiedene interne Entwicklungsteams hatten begonnen, eigenständige KI-Bots und Anwendungen zu entwickeln, um spezifische Anforderungen unterschiedlicher Fachbereiche zu adressieren. Diese Innovationskraft war positiv, führte jedoch perspektivisch zu einer fragmentierten Systemlandschaft, in der Mitarbeiter zwischen verschiedenen Anwendungen wechseln mussten.
Das Unternehmen erkannte die strategische Chance, diese Initiativen zu bündeln und eine zentrale, hochverfügbare Plattform zu schaffen. Das Ziel war eine einheitliche Benutzeroberfläche, die verschiedene KI-Services – von der allgemeinen Assistenz bis zur spezialisierten Dokumentenanalyse – unter einem Dach vereint. Dabei mussten hohe Anforderungen an Datenschutz, Informationssicherheit und Compliance von Anfang an berücksichtigt werden, um einen unternehmensweiten Einsatz zu ermöglichen.
Unsere Lösung
In enger Zusammenarbeit mit den internen Teams entwickelte AMAI eine zentrale Orchestrierungs-Plattform, die als Single Point of Entry für verschiedene KI-Dienste fungiert. Die Lösung abstrahiert die Komplexität der zugrundeliegenden Modelle und bietet eine intuitive User Experience, die Mitarbeiter sicher durch ihre täglichen Aufgaben begleitet.
- Zentrale Orchestrierungs-Plattform für KI-Services: Die Kernkomponente der Architektur bildet eine leistungsfähige Middleware auf Basis von FastAPI, die Anfragen von Mitarbeitern entgegennimmt und intelligent an die entsprechenden spezialisierten Bots weiterleitet. Anstatt für jeden Anwendungsfall ein separates Tool nutzen zu müssen, greifen Nutzer über eine einheitliche Web-Oberfläche auf alle KI-Funktionen zu. Die Plattform verwaltet dabei zentral die Authentifizierung, das Routing der Anfragen sowie die Aggregation der Antworten und sorgt so für eine nahtlose User Experience über verschiedene Backend-Services hinweg.
- RAG-Pipeline zur intelligenten Dokumentenanalyse: Für die effiziente Verarbeitung großer Dokumentenmengen wurde ein spezialisiertes Modul auf Basis von Retrieval-Augmented Generation (RAG) implementiert. Mitarbeiter können umfangreiche interne Dokumentationen – von Arbeitsanweisungen bis hin zu komplexen Prozessbeschreibungen – in sicheren Datenräumen nutzen. Das System verwendet moderne Vektordatenbanken und semantische Suche, um relevante Informationen präzise zu lokalisieren. Ein Multi-Query-Ansatz und Query-Rephrasing sorgen dafür, dass auch komplexe oder ungenau formulierte Fragen der Nutzer im Kontext korrekt interpretiert und beantwortet werden, wobei die Quellen in den Originaldokumenten transparent markiert werden.
- Erweiterte LLM-Funktionalitäten mit Websuche: Neben der internen Dokumentenanalyse bietet die Plattform ein Modul für generelle Assistenzaufgaben, das moderne Large Language Models (LLMs) mit aktuellen Informationen aus dem Internet anreichert. Diese Komponente ermöglicht es Mitarbeitern, Recherchen durchzuführen, Texte zu erstellen oder Bilder zu generieren, ohne die sichere Unternehmensumgebung verlassen zu müssen. Die Integration erfolgt unter strikter Einhaltung der geltenden Datenschutz- und Compliance-Anforderungen. Dabei wird sichergestellt, dass keine sensiblen Unternehmensdaten für das Training öffentlicher Modelle verwendet werden.
- Skalierbare Architektur und AI Engineering: Die technische Basis wurde konsequent auf Skalierbarkeit und Wartbarkeit ausgelegt. Durch den Einsatz moderner Frameworks wie LangChain und die geplante Migration auf spezialisierte AI-Foundry-Lösungen ist die Plattform zukunftssicher aufgestellt. Ein besonderer Fokus lag auf der Implementierung robuster Monitoring- und Logging-Mechanismen, die eine Fehleranalyse ermöglichen, ohne Datenschutz- oder Compliance-Vorgaben zu beeinträchtigen. Dies erlaubt dem Betriebsteam, die Performance der Modelle kontinuierlich zu überwachen und die Qualität der Antworten stetig zu optimieren.
Ergebnisse & Business-Impact
Die Einführung der zentralen KI-Plattform hat die Arbeitsweise der Mitarbeiter nachhaltig modernisiert. Durch die Bündelung der KI-Services an einem Ort entfällt das zeitaufwändige Wechseln zwischen verschiedenen Anwendungen, was die Effizienz im Arbeitsalltag spürbar steigert. Besonders die intelligente Dokumentensuche hat sich als wertvolles Werkzeug etabliert: Statt manuell in umfangreichen Dokumentationen zu recherchieren, erhalten Mitarbeiter nun in Sekundenschnelle präzise Antworten aus internen Richtlinien und Handbüchern. Dies beschleunigt insbesondere das Onboarding neuer Mitarbeiter sowie die Bearbeitung komplexer Fragestellungen.
Der hohe Nutzungsgrad der Plattform und das kontinuierlich positive Feedback der Anwender bestätigen den Erfolg des Ansatzes. Die Lösung hat sich als stabiler und performanter Service etabliert, der den hohen Anforderungen an Sicherheit und Compliance gerecht wird. Durch die zentrale Bereitstellung profitieren alle Fachbereiche gleichermaßen von neuen Funktionen und Modellverbesserungen, ohne dass dezentrale Installationen oder aufwendige Wartungsprozesse erforderlich sind. Neue Features – beispielsweise leistungsfähigere Sprachmodelle – können zentral bereitgestellt werden und stehen den Anwendern unmittelbar zur Verfügung. Dadurch bleibt die Plattform technologisch aktuell, während der operative Aufwand für die Fachbereiche minimal bleibt.
