Benchmark de LLM locales revela fallos en la extracción para la construcción de grafos de conocimiento

Un nuevo benchmark publicado el 6 de noviembre de 2026 evalúa qué tan bien los grandes modelos de lenguaje (LLM) locales construyen grafos de conocimiento a partir de texto. El estudio, realizado por Denis MacPherson para Chaos Cypher, prueba 22 modelos disponibles a través de Ollama para determinar cuáles pueden extraer con precisión entidades y relaciones sin alucinar hechos.

Qué ocurrió

El benchmark separa la tarea de construir un grafo de conocimiento en dos fases distintas: extracción y chat. En la fase de extracción, los modelos deben leer pasajes, identificar entidades y relaciones específicas, y citar la oración exacta que respalda cada afirmación. Esto se realiza mediante comprobaciones estrictas de funciones puras en lugar de otro juez de IA, lo que asegura resultados objetivos de aprobado o suspenso. La prueba incluye 65 sondas aisladas y 39 sondas incrustadas dentro de fragmentos más grandes de texto de Guerra y paz de Leo Tolstoy para simular el procesamiento de documentos del mundo real.

En la fase de chat, los modelos responden preguntas basándose únicamente en el grafo extraído previamente. Deben proporcionar respuestas correctas, evitar inventar información que no esté presente en el contexto y declinar explícitamente responder si faltan datos. La puntuación general final pondera la extracción al 60 por ciento y el chat al 40 por ciento, con énfasis adicional en el rendimiento de extracción "dentro de fragmentos" ya que esto refleja cómo los modelos manejan documentos reales.

Los resultados destacan una divergencia significativa entre los tamaños de los modelos y su rendimiento real. Los modelos más grandes no funcionan automáticamente mejor; por ejemplo, Gemma 4 12B tuvo un rendimiento competitivo frente a modelos mucho más grandes, mientras que varios modelos de clase 30B tuvieron dificultades con las tareas de extracción estructurada. El estudio enfatiza que la adherencia a formatos de salida estrictos y la disciplina de evidencia es una característica de entrenamiento más que una función del número de parámetros.

Detalles clave

• El benchmark evalúa 22 modelos locales de Ollama utilizando una herramienta de línea de comandos reproducible llamada chaoscypher-cli.
• Las puntuaciones de extracción varían ampliamente entre los modelos, mientras que las puntuaciones de chat están agrupadas estrechamente, lo que hace que la extracción sea el principal diferenciador.
• Gemma 4 31B logró la puntuación general más alta sin banderas, sirviendo como modelo de referencia para las pruebas de la columna de chat.
• Modelos como GPT-OSS 20B y DeepSeek-R1 14B fueron marcados por ignorar la configuración de "thinking-off", lo que les hacía desperdiciar tokens de salida en razonamiento interno.
• Cada puntuación incluye un intervalo de confianza del 90% derivado del remuestreo de tareas 2,000 veces, indicando que muchos de los modelos mejor clasificados están estadísticamente empatados.
• La herramienta permite a los usuarios ejecutar benchmarks localmente con comandos como chaoscypher benchmark run probes --local-only para validar modelos en su propio hardware.

Contexto

La extracción de grafos de conocimiento requiere que un modelo actúe como un analizador de datos estructurados en lugar de un escritor creativo. A diferencia de las interacciones estándar de chat, donde se valora la fluidez, la extracción exige una adhesión rígida al formato, nombres precisos de entidades y citas estrictas de evidencia. Si un modelo falla al citar la oración correcta o inventa una relación, el grafo resultante se vuelve poco fiable para aplicaciones posteriores.

Los sistemas de Generación Aumentada por Recuperación (RAG) a menudo dependen de estos grafos para responder preguntas de los usuarios. Si el grafo subyacente está desordenado debido a una mala extracción, el componente de chat inevitablemente producirá respuestas incorrectas o alucinadas, independientemente de cuán sofisticado sea el propio modelo de chat. Este benchmark aísla estas dos capacidades para ayudar a los desarrolladores a elegir el modelo adecuado para cada etapa de su pipeline.

Por qué importa

Para equipos que ejecutan soluciones de IA autoalojadas, seleccionar el modelo equivocado puede llevar a una corrupción silenciosa de datos. Un modelo que chatea bien pero extrae mal creará una base de conocimiento llena de errores sutiles difíciles de detectar. Al centrarse en métricas de extracción, los ingenieros pueden asegurar que la base de su sistema de IA documental sea sólida antes de optimizar para la elegancia conversacional.

Los hallazgos también desafían la suposición de que los modelos más grandes siempre son mejores para el despliegue local. Modelos más pequeños como Gemma 4 12B pueden superar a contrapartes más grandes en tareas estructuradas, ofreciendo ahorros significativos en memoria GPU y tiempo de inferencia. Esto permite a empresas pequeñas y medianas ejecutar pipelines eficientes y precisos de procesamiento de documentos en hardware modesto sin sacrificar fiabilidad.

Además, la presencia de banderas como cortes de salida o repetición descontrolada proporciona información operativa crítica. Saber que un modelo como Llama 3.1 8B frecuentemente alcanza límites de salida ayuda a los desarrolladores a establecer tiempos de espera y lógicas de reintento adecuados en sus entornos de producción, previniendo procesos estancados e ingesta de datos incompleta.

Qué puedes hacer

• Ejecuta el benchmark chaoscypher-cli en tu hardware objetivo para verificar el rendimiento del modelo antes del despliegue, usando la bandera --estimate para medir el uso de recursos.
• Prioriza las puntuaciones de extracción sobre las de chat al seleccionar un modelo para análisis de documentos, ya que esta es la fuente principal de variación en la precisión.
• Busca banderas como cortes de salida o configuraciones ignoradas en los resultados del benchmark, ya que indican riesgos operativos que pueden causar fallos en producción.
• Considera modelos más pequeños como Gemma 4 12B para tareas de extracción si cumplen con los umbrales de precisión, reduciendo costos de infraestructura y latencia.
• Usa los intervalos de confianza proporcionados para tratar a los modelos mejor clasificados como un clúster de opciones viables en lugar de buscar un único ganador definitivo.
• Prueba modelos con tus propios conjuntos de datos de documentos añadiéndolos a la herramienta de benchmark, asegurando que los resultados generales se mantengan verdaderos para tu caso de uso específico.