Schemagetriebene Wissensextraktion aus unstrukturierten Dokumenten mit Open-Source-LLMs am Beispiel von IT-Grundschutz

Quelloffene Sprachmodelle können auf eigener Hardware die Extraktion vertraulicher Dokumente ohne externe APIs ermöglichen. Bei kleineren Modellen werden enge Kontextfenster, Halluzinationen und schwache Schematreue jedoch problematischer. Die vorliegende Arbeit schließt diesen Abstand nicht durch ein größeres Modell, sondern durch eine Architektur, die klassische und LLM-basierte Extraktion zu einem Verfahren verbindet.

Der Beitrag ist eine zweistufige Extraktion mit fest eingebautem Human-in-the-Loop. Zuerst wird allein der Entitätskatalog erhoben und geprüft. Beziehungen und Eigenschaften folgen erst auf dieser bestätigten Grundlage und nur mit dem jeweils relevanten Schema-Ausschnitt. Wo Human-in-the-Loop meist nachträglich angefügt wird, ist der Review-Schritt hier fester Teil der Pipeline. Das senkt die Tokenlast und stoppt Folgefehler, bevor sie in Relationen und Attribute fortschreiten.
Technisch vereint die Pipeline deterministische und generative Verfahren. Tabellen werden nicht zeilenweise dem Modell vorgelegt, sondern über vom LLM erzeugte Parserfunktionen strukturell ausgelesen. In Kombination mit schemagebundener Validierung, multimodaler Verarbeitung und durchgängiger Quellenrückführung entsteht eine Pipeline, deren Eignung für selbst gehostete Modelle als Entwurfsziel angelegt ist. Die Evaluation am Praxisfall der IT-Grundschutz-Strukturanalyse misst ihre Extraktionsqualität.

Die Evaluation zeigt für die untersuchten Gateway-Konfigurationen einen Vorteil des SLLM Extractors gegenüber den Vergleichswerkzeugen Microsoft GraphRAG und Lang-Chains LLMGraphTransformer. Das quelloffene Modell mit 26 Milliarden Parametern nähert sich auf dem großen Korpus der kompakten proprietären Referenz an. Auf dem kompakten Korpus bleibt es wegen einer schwachen Relationsanalyse zurück. Der Abstand zum Spitzenmodell bewegt sich je nach Aufgabe zwischen 6 und 22 Prozentpunkten Mittel-F1.