Ausgangssituation
Eine Organisation aus dem öffentlichen Sektor bearbeitet regelmäßig umfangreiche Vorgänge, bei denen mehrere fachliche Dokumente ausgewertet und miteinander abgeglichen werden. Die Analyse und strukturierte Aufbereitung dieser Unterlagen erfordert Sorgfalt und bindet viel Arbeitszeit der Fachteams.
Die Organisation erkannte hier eine klare Chance: Die Aufgabe folgt einem wiederkehrenden Muster aus Lesen, Abgleichen und Zusammenfassen. Genau dafür eignen sich Large Language Models. Ziel war es, wiederkehrende Auswertungsarbeiten zu reduzieren, Ergebnisse einheitlicher aufzubereiten und dabei hohe Anforderungen an Datenschutz und Datensicherheit zu erfüllen.
Unsere Lösung
AMAI entwickelte eine sichere Anwendung zur automatisierten Dokumentenanalyse, die mehrere PDF-Dokumente zu einem Vorgang verarbeitet und daraus eine strukturierte Zusammenfassung mit Quellenangaben erstellt. Die Lösung wurde schrittweise von einem Prototyp zu einer produktionsnahen Plattform weiterentwickelt.
- Extraktion zentraler Aussagen mit Quellenangaben: Large Language Models identifizieren in jedem Dokument die wesentlichen Inhalte und Kernaussagen. Jede Aussage wird mit der zugehörigen Textstelle im Originaldokument verknüpft und automatisch gegen die Quelle geprüft. So lässt sich jedes Ergebnis direkt im Ausgangsdokument nachlesen. Das reduziert das Risiko fehlerhafter Aussagen und schafft Vertrauen in die automatisierte Auswertung.
- Strukturierte Gegenüberstellung über alle Dokumente hinweg: Ein mit LangGraph orchestrierter Verarbeitungsprozess führt die extrahierten Aussagen zusammen, erkennt Gemeinsamkeiten und stellt Unterschiede zwischen den Dokumenten übersichtlich dar. Jede Zusammenfassung folgt einem einheitlichen Aufbau, sodass die Ergebnisse verschiedener Vorgänge schnell erfasst und verglichen werden können. Die fachliche Einordnung der Inhalte bleibt dabei vollständig bei den Mitarbeitenden.
- Sichere, integrierbare Plattform: Die Lösung wurde als Plattform mit einem Backend auf Basis von FastAPI, abgesicherter Schnittstelle, Nutzerverwaltung und Verarbeitungshistorie umgesetzt und läuft containerisiert auf Kubernetes. Über die Schnittstelle lässt sich die Dokumentenanalyse in bestehende Arbeitsabläufe und Systeme integrieren, sodass die Funktion dort verfügbar ist, wo Mitarbeitende ohnehin arbeiten. Die Architektur ist modellunabhängig, sodass Sprachmodelle bei Bedarf ausgetauscht werden können, ohne die Anwendung umzubauen.
- Qualitätssicherung durch Monitoring und Nutzerfeedback: Mit Langfuse werden alle Verarbeitungsschritte nachvollziehbar protokolliert, Prompts zentral verwaltet und Ergebnisse evaluiert. Eine integrierte Feedbackfunktion ermöglicht es Nutzenden, die Qualität der Ergebnisse strukturiert zu bewerten. Diese Rückmeldungen fließen systematisch in die Weiterentwicklung ein und schaffen eine belastbare Grundlage, um die Qualität der Zusammenfassungen kontinuierlich zu verbessern.
Die Umsetzung erfolgte iterativ und in enger Abstimmung mit den Fachanwendern. Für Entwicklung und Tests wurden geeignete, datenschutzkonform bereitgestellte Testdaten genutzt.
Ergebnisse & Business-Impact
Nach mehreren Entwicklungs- und Testschritten wird die Lösung von rund 150 aktiven Nutzern im Arbeitsalltag erprobt und auf Basis ihrer Rückmeldungen weiterentwickelt. Das bisherige Feedback ist sehr positiv und bestätigt, dass sich Large Language Models gut für die Auswertung umfangreicher Fachdokumente eignen. Die Lösung wird schrittweise in bestehende Arbeitsabläufe und Systeme integriert.
Für die Organisation bedeutet das eine spürbare Entlastung der Fachteams, die sich stärker auf die inhaltliche Arbeit konzentrieren können. Die Zusammenfassungen werden einheitlicher und durch die Quellenangaben transparenter. Das strukturierte Nutzerfeedback bildet die Grundlage, um Qualität und Zeitersparnis im weiteren Verlauf messbar zu machen.
