Ausgangssituation
Ein großer IT-Dienstleister im Finanzsektor stand vor der Herausforderung, dass die Wartung und Weiterentwicklung klassischer Machine Learning-Pipelines zur Dokumentenklassifikation zunehmend Ressourcen band. Die bestehenden Systeme zur Verarbeitung von Immobilienausweisen, Exposés und Kontoauszügen erforderten aufwendiges manuelles Labeling, komplexes Feature Engineering und ein strenges Data Lineage Management. Jede Änderung an den Dokumentenstrukturen oder das Hinzufügen neuer Klassen zog langwierige Trainingsphasen nach sich.
Das Unternehmen erkannte die strategische Chance, diese Prozesse durch den Einsatz moderner Generative AI-Technologien grundlegend zu modernisieren. Ziel war es, zu evaluieren, ob Large Language Models (LLMs) die klassischen Klassifikatoren ersetzen können, um den Wartungsaufwand zu minimieren und gleichzeitig die Klassifikationsgüte beizubehalten oder zu verbessern. Besonders im Fokus stand die Frage, ob sich der enorme Overhead für Datenaufbereitung und Training durch den Einsatz vortrainierter Modelle eliminieren lässt.
Unsere Lösung
AMAI entwickelte ein umfassendes Evaluations-Framework und einen Proof of Concept (PoC), um die Eignung von Large Language Models für die komplexe Multi-Page Dokumentenklassifikation zu validieren. Der Ansatz basierte auf einem systematischen Vergleich zwischen klassischen Methoden und modernen GenAI-Ansätzen unter Verwendung öffentlich zugänglicher Daten.
- Systematisches Evaluations-Framework für Modellvergleiche:
Um eine objektive Entscheidungsgrundlage zu schaffen, wurde ein flexibles Framework entwickelt, das den direkten Vergleich verschiedener Modellarchitekturen ermöglicht. Dieses System erlaubt es, sowohl proprietäre Cloud-Modelle als auch lokale Open-Source-Modelle gegeneinander antreten zu lassen. Durch die Nutzung eines eigens erstellten C1-Datensatzes aus öffentlich zugänglichen Dokumenten konnte die Evaluation ohne datenschutzrechtliche Hürden und ohne Zugriff auf sensible Finanzdaten durchgeführt werden, was die Projektlaufzeit erheblich beschleunigte. - Sliding Window-Ansatz für lange Dokumente:
Eine der größten technischen Herausforderungen war die Verarbeitung umfangreicher Dokumente, die das Kontextfenster vieler Modelle sprengen oder zu einer Degradation der Erkennungsleistung führen ("Lost in the Middle"-Phänomen). Die Lösung bestand in der Implementierung eines intelligenten Sliding Window-Verfahrens. Hierbei werden Dokumente in überlappende Segmente unterteilt, separat analysiert und anschließend durch eine Aggregationslogik zu einem Gesamtergebnis zusammengeführt. Dies stellt sicher, dass auch bei sehr langen Exposés oder Verträgen keine relevanten Informationen verloren gehen. - Strukturierte Datenextraktion mittels JSON Output:
Um die bei generativen Modellen oft variierende Ausgabe in ein prozesssicheres Format zu überführen, wurde konsequent auf JSON Structured Output gesetzt. Diese Technik zwingt das Sprachmodell dazu, Ergebnisse in einem exakt definierten Schema zurückzugeben (z.B. "Seite 1: Grundriss", "Seite 2: Energieausweis"). Dies eliminiert Halluzinationen in der Struktur und ermöglicht die nahtlose Weiterverarbeitung der Klassifikationsergebnisse in nachgelagerten IT-Systemen, ohne dass komplexe Parsing-Logiken notwendig sind. - Fokus auf Prompt Engineering statt Fine-Tuning:
Im Projektverlauf zeigte sich, dass aufwendiges Fine-Tuning lokaler Modelle für diese spezifische Klassifikationsaufgabe keinen signifikanten Mehrwert gegenüber gutem Prompt Engineering mit leistungsfähigen Basis-Modellen bot. Die Lösung konzentrierte sich daher auf die Optimierung der Prompts und die Bereitstellung von relevantem Kontext (Few-Shot Learning), was die Komplexität der Pipeline drastisch reduzierte und die Flexibilität für zukünftige Anpassungen erhöhte.
Ergebnisse & Business-Impact
Das Forschungsprojekt lieferte den klaren Nachweis, dass Generative AI-Modelle die klassischen Machine Learning-Pipelines in der Dokumentenklassifikation nicht nur ersetzen, sondern in Bezug auf Effizienz übertreffen können. Die Evaluation zeigte, dass moderne LLMs vergleichbare oder bessere Klassifikationsergebnisse liefern, dabei aber den Entwicklungs- und Wartungsaufwand massiv reduzieren.
Besonders signifikant war die nahezu vollständige Eliminierung des manuellen Labeling-Aufwands, der bei klassischen Verfahren den größten Zeitfaktor darstellte. Da die Modelle "Zero-Shot" oder mit wenigen Beispielen ("Few-Shot") arbeiten, entfiel die Notwendigkeit für langwierige Trainingszyklen. Dies ermöglicht eine drastische Verkürzung der Time-to-Market für neue Dokumententypen. Basierend auf diesen Ergebnissen wurde eine klare Empfehlung zur technologischen Neuausrichtung ausgesprochen, die vom Kunden anschließend in die strategische Roadmap aufgenommen und implementiert wurde. Die Validierung bestätigte zudem, dass der Einsatz von Structured Output die notwendige Prozesssicherheit für den Einsatz im regulierten Finanzumfeld gewährleistet.
