Un benchmark de LLM locaux révèle des failles dans la construction de graphes de connaissances

Un nouveau benchmark publié le 6 novembre 2026 évalue la capacité des grands modèles de langage (LLM) locaux à construire des graphes de connaissances à partir de textes. L'étude, menée par Denis MacPherson pour Chaos Cypher, teste 22 modèles disponibles via Ollama afin de déterminer lesquels peuvent extraire avec précision les entités et les relations sans halluciner de faits.

Ce qui s'est passé

Le benchmark sépare la tâche de construction d'un graphe de connaissances en deux phases distinctes : l'extraction et le chat. Lors de la phase d'extraction, les modèles doivent lire des passages, identifier des entités et des relations spécifiques, et citer la phrase exacte qui soutient chaque affirmation. Cela se fait à l'aide de vérifications strictes de fonctions pures plutôt que par un autre juge IA, garantissant des résultats objectifs de réussite ou d'échec. Le test comprend 65 sondes isolées et 39 sondes intégrées dans de plus gros blocs de texte tirés de Guerre et Paix de Léon Tolstoï, afin de simuler le traitement de documents réels.

Lors de la phase de chat, les modèles répondent à des questions basées uniquement sur le graphe extrait précédemment. Ils doivent fournir des réponses correctes, éviter d'inventer des informations absentes du contexte, et refuser explicitement de répondre si les données sont manquantes. Le score global final pondère l'extraction à 60 % et le chat à 40 %, avec une emphase supplémentaire sur les performances d'extraction « in-chunks » (dans les blocs), car cela reflète la manière dont les modèles traitent les documents réels.

Les résultats mettent en évidence une divergence significative entre la taille des modèles et leurs performances réelles. Les modèles plus volumineux ne performent pas automatiquement mieux ; par exemple, Gemma 4 12B a offert des performances compétitives face à des modèles beaucoup plus grands, tandis que plusieurs modèles de classe 30B ont eu du mal avec les tâches d'extraction structurée. L'étude souligne que le respect des formats de sortie stricts et la discipline des preuves sont des caractéristiques liées à l'entraînement plutôt qu'une fonction du nombre de paramètres.

Détails clés

• Le benchmark évalue 22 modèles locaux d'Ollama à l'aide d'un outil en ligne de commande reproductible appelé chaoscypher-cli.
• Les scores d'extraction varient considérablement selon les modèles, tandis que les scores de chat sont regroupés de près, faisant de l'extraction le principal facteur différenciant.
• Gemma 4 31B a obtenu le meilleur score global sans aucun signal d'alerte, servant de modèle de référence pour les tests de la colonne chat.
• Des modèles comme GPT-OSS 20B et DeepSeek-R1 14B ont été signalés pour avoir ignoré les paramètres « thinking-off », ce qui les a amenés à gaspiller des jetons de sortie en raisonnement interne.
• Chaque score inclut un intervalle de confiance à 90 % dérivé du rééchantillonnage des tâches 2 000 fois, indiquant que de nombreux modèles bien classés sont statistiquement équivalents.
• L'outil permet aux utilisateurs d'exécuter des benchmarks localement avec des commandes comme chaoscypher benchmark run probes --local-only pour valider les modèles sur leur propre matériel.

Contexte

L'extraction de graphes de connaissances exige qu'un modèle agisse comme un analyseur de données structurées plutôt que comme un rédacteur créatif. Contrairement aux interactions de chat standard, où la fluidité est primordiale, l'extraction demande un respect rigide du format, une nomination précise des entités et une citation stricte des preuves. Si un modèle échoue à citer la phrase correcte ou invente une relation, le graphe résultant devient peu fiable pour les applications en aval.

Les systèmes de Génération Augmentée par Récupération (RAG) reposent souvent sur ces graphes pour répondre aux questions des utilisateurs. Si le graphe sous-jacent est désordonné en raison d'une mauvaise extraction, le composant de chat produira inévitablement des réponses incorrectes ou hallucinées, aussi sophistiqué soit le modèle de chat lui-même. Ce benchmark isole ces deux capacités pour aider les développeurs à choisir le bon modèle pour chaque étape de leur pipeline.

Pourquoi c'est important

Pour les équipes utilisant des solutions IA auto-hébergées, choisir le mauvais modèle peut entraîner une corruption silencieuse des données. Un modèle qui dialogue bien mais extrait mal créera une base de connaissances remplie d'erreurs subtiles difficiles à détecter. En se concentrant sur les métriques d'extraction, les ingénieurs peuvent s'assurer que la fondation de leur système IA documentaire est solide avant d'optimiser pour l'aisance conversationnelle.

Les conclusions remettent également en question l'hypothèse selon laquelle les modèles plus grands sont toujours meilleurs pour le déploiement local. Des modèles plus petits comme Gemma 4 12B peuvent surpasser leurs homologues plus grands dans les tâches structurées, offrant des économies significatives en mémoire GPU et en temps d'inférence. Cela permet aux petites et moyennes entreprises d'exécuter des pipelines de traitement de documents efficaces et précis sur un matériel modeste sans sacrifier la fiabilité.

De plus, la présence de signaux d'alerte tels que les coupures de sortie ou les répétitions incontrôlées fournit des informations opérationnelles critiques. Savoir qu'un modèle comme Llama 3.1 8B atteint fréquemment les limites de sortie aide les développeurs à définir des délais appropriés et une logique de nouvelle tentative dans leurs environnements de production, évitant ainsi les processus bloqués et l'ingestion incomplète de données.

Ce que vous pouvez faire

• Exécutez le benchmark chaoscypher-cli sur votre matériel cible pour vérifier les performances du modèle avant le déploiement, en utilisant le flag --estimate pour évaluer l'utilisation des ressources.
• Priorisez les scores d'extraction sur les scores de chat lors du choix d'un modèle pour l'analyse de documents, car c'est la principale source de variance en matière de précision.
• Vérifiez les signaux d'alerte tels que les coupures de sortie ou les paramètres ignorés dans les résultats du benchmark, car ils indiquent des risques opérationnels susceptibles de provoquer des défaillances en production.
• Envisagez des modèles plus petits comme Gemma 4 12B pour les tâches d'extraction s'ils atteignent les seuils de précision requis, réduisant ainsi les coûts d'infrastructure et la latence.
• Utilisez les intervalles de confiance fournis pour traiter les modèles bien classés comme un groupe d'options viables plutôt que de chercher un gagnant unique définitif.
• Testez les modèles avec vos propres jeux de données documentaires en les ajoutant à l'outil de benchmark, afin de garantir que les résultats généraux s'appliquent à votre cas d'usage spécifique.