Lokaler LLM-Benchmark deckt Fehler bei der Erstellung von Wissensgraphen auf

Ein am 6. November 2026 veröffentlichter neuer Benchmark bewertet, wie gut lokale große Sprachmodelle (LLMs) Wissensgraphen aus Text erstellen. Die Studie, durchgeführt von Denis MacPherson für Chaos Cypher, testet 22 über Ollama verfügbare Modelle, um zu ermitteln, welche Entitäten und Beziehungen genau extrahieren können, ohne Fakten zu halluzinieren.

Was passiert ist

Der Benchmark trennt die Aufgabe der Erstellung eines Wissensgraphen in zwei verschiedene Phasen: Extraktion und Chat. In der Extraktionsphase müssen Modelle Passagen lesen, spezifische Entitäten und Beziehungen identifizieren und den genauen Satz zitieren, der jede Aussage stützt. Dies geschieht mithilfe strenger Pure-Function-Prüfungen anstelle eines anderen KI-Richters, was objektive Bestehens- oder Durchfallergebnisse gewährleistet. Der Test umfasst 65 isolierte Proben sowie 39 Proben, die in größere Textblöcke aus Leo Tolstois Krieg und Frieden eingebettet sind, um die reale Dokumentverarbeitung zu simulieren.

In der Chat-Phase beantworten Modelle Fragen ausschließlich auf Basis des zuvor extrahierten Graphen. Sie müssen korrekte Antworten liefern, das Erfinden von Informationen vermeiden, die nicht im Kontext vorhanden sind, und explizit ablehnen zu antworten, wenn Daten fehlen. Die endgültige Gesamtbewertung gewichtet die Extraktion mit 60 Prozent und den Chat mit 40 Prozent, wobei der "in-chunks"-Extraktionsleistung besondere Bedeutung zukommt, da sie widerspiegelt, wie Modelle tatsächliche Dokumente verarbeiten.

Die Ergebnisse heben eine signifikante Abweichung zwischen Modellgrößen und ihrer tatsächlichen Leistung hervor. Größere Modelle schneiden nicht automatisch besser ab; beispielsweise trat Gemma 4 12B konkurrenzfähig gegen viel größere Modelle an, während mehrere Modelle der 30B-Klasse Schwierigkeiten mit den strukturierten Extraktionsaufgaben hatten. Die Studie betont, dass die Einhaltung strikter Ausgabeformate und Evidenzdisziplin eine Trainingseigenschaft ist und nicht einfach eine Funktion der Parameteranzahl.

Wichtige Details

• Der Benchmark evaluiert 22 lokale Modelle von Ollama unter Verwendung eines reproduzierbaren Befehlszeilentools namens chaoscypher-cli.
• Die Extraktionswerte variieren stark zwischen den Modellen, während die Chat-Werte eng beieinander liegen, was die Extraktion zum primären Unterscheidungsmerkmal macht.
• Gemma 4 31B erreichte die höchste Gesamtbewertung ohne Warnungen und diente als Referenzmodell für die Tests der Spalte "Chat".
• Modelle wie GPT-OSS 20B und DeepSeek-R1 14B wurden markiert, weil sie die Einstellungen "thinking-off" ignorierten, was dazu führte, dass sie Ausgab-Token für internes Schlussfolgern verschwendeten.
• Jeder Wert enthält ein 90%-Konfidenzintervall, das durch 2.000-faches Resampling der Aufgaben abgeleitet wurde. Dies zeigt, dass viele der bestplatzierten Modelle statistisch gleichauf liegen.
• Das Tool ermöglicht es Benutzern, Benchmarks lokal mit Befehlen wie chaoscypher benchmark run probes --local-only auszuführen, um Modelle auf ihrer eigenen Hardware zu validieren.

Hintergrund

Die Extraktion von Wissensgraphen erfordert, dass ein Modell als strukturierter Datenparser fungiert, nicht als kreativer Schreiber. Im Gegensatz zu standardmäßigen Chat-Interaktionen, bei denen Flüssigkeit geschätzt wird, verlangt die Extraktion starre Einhaltung des Formats, präzise Entitätsbenennung und strikte Zitierung von Belegen. Wenn ein Modell den falschen Satz zitiert oder eine Beziehung erfindet, wird der resultierende Graph für nachgelagerte Anwendungen unzuverlässig.

Retrieval-Augmented Generation (RAG)-Systeme verlassen sich oft auf diese Graphen, um Benutzerfragen zu beantworten. Wenn der zugrunde liegende Graph aufgrund schlechter Extraktion chaotisch ist, wird die Chat-Komponente unvermeidlich falsche oder halluzinierte Antworten produzieren, unabhängig davon, wie ausgefeilt das Chat-Modell selbst ist. Dieser Benchmark isoliert diese beiden Fähigkeiten, um Entwicklern zu helfen, das richtige Modell für jede Stufe ihrer Pipeline auszuwählen.

Warum es wichtig ist

Für Teams, die selbst gehostete KI-Lösungen betreiben, kann die Auswahl des falschen Modells zu stiller Datenkorruption führen. Ein Modell, das gut chattet, aber schlecht extrahiert, erstellt eine Wissensbasis voller subtiler Fehler, die schwer zu erkennen sind. Durch die Fokussierung auf Extraktionsmetriken können Ingenieure sicherstellen, dass das Fundament ihres Dokumenten-KI-Systems solide ist, bevor sie auf Konversationsflair optimieren.

Die Erkenntnisse stellen zudem die Annahme infrage, dass größere Modelle für lokale Bereitstellungen immer besser sind. Kleinere Modelle wie Gemma 4 12B können bei strukturierten Aufgaben größere Pendants übertreffen und bieten erhebliche Einsparungen beim GPU-Speicher und bei der Inferenzzeit. Dies ermöglicht kleinen und mittleren Unternehmen, effiziente, genaue Dokumentverarbeitungs-Pipelines auf bescheidener Hardware zu betreiben, ohne Zuverlässigkeit einzubüßen.

Darüber hinaus liefern Markierungen wie Ausgabe-Abschnitte oder außer Kontrolle geratene Wiederholungen kritische betriebliche Erkenntnisse. Zu wissen, dass ein Modell wie Llama 3.1 8B häufig Ausgabelimits erreicht, hilft Entwicklern, angemessene Timeouts und Retry-Logik in ihren Produktionsumgebungen festzulegen, um blockierte Prozesse und unvollständige Datenaufnahmen zu verhindern.

Was Sie tun können

• Führen Sie den chaoscypher-cli-Benchmark auf Ihrer Zielhardware aus, um die Modellleistung vor der Bereitstellung zu überprüfen, und verwenden Sie den Flag --estimate, um die Ressourcennutzung abzuschätzen.
• Priorisieren Sie Extraktionswerte gegenüber Chat-Werten bei der Auswahl eines Modells für die Dokumentanalyse, da dies die Hauptquelle für Varianzen in der Genauigkeit ist.
• Prüfen Sie Benchmark-Ergebnisse auf Markierungen wie Ausgabe-Abschnitte oder ignorierte Einstellungen, da diese auf betriebliche Risiken hinweisen, die in der Produktion zu Fehlern führen können.
• Erwägen Sie kleinere Modelle wie Gemma 4 12B für Extraktionsaufgaben, wenn sie Genauigkeitsschwellen erfüllen, um Infrastrukturkosten und Latenz zu reduzieren.
• Nutzen Sie die bereitgestellten Konfidenzintervalle, um die bestplatzierten Modelle als Cluster von gangbaren Optionen zu betrachten, anstatt einen einzelnen definitiven Gewinner zu suchen.
• Testen Sie Modelle mit Ihren eigenen Dokumentdatensätzen, indem Sie sie dem Benchmark-Tool hinzufügen, um sicherzustellen, dass die allgemeinen Ergebnisse für Ihren spezifischen Anwendungsfall gelten.