llmtee ofrece seguimiento de costes y límites de presupuesto para LLM autoalojados

Lanzado el 11 de noviembre de 2026, llmtee es un nuevo proxy autoalojado diseñado para monitorizar y controlar los costes de uso de Modelos de Lenguaje Grande (LLM). Creado por el desarrollador garritfra, esta herramienta se sitúa entre tus aplicaciones y proveedores como OpenAI, Anthropic o modelos locales como Ollama, proporcionando visibilidad sobre el consumo de tokens y aplicando límites estrictos de presupuesto sin requerir cambios en el código de tus aplicaciones cliente.

Qué ha ocurrido

El proyecto introduce un proxy ligero que funciona de manera similar al comando tee de Unix. Pasa las solicitudes y respuestas de la API a su destino sin modificaciones mientras mantiene simultáneamente una copia de los datos para su análisis. Esto permite a los desarrolladores seguir utilizando SDKs y herramientas estándar, como Claude Code o la librería Python de OpenAI, simplemente cambiando la configuración de la URL base para que apunte a su instancia local de llmtee. La herramienta registra cada solicitud, capturando detalles como el número de tokens, el coste monetario, la latencia y el tiempo hasta el primer token.

llmtee se distribuye como un único binario Go, lo que simplifica el despliegue para equipos pequeños e individuos. Utiliza SQLite por defecto, lo que significa que hacer una copia de seguridad es tan sencillo como copiar un archivo, aunque también admite PostgreSQL para configuraciones más robustas. La versión actual es 0.x, lo que indica que la configuración y las funciones aún pueden cambiar a medida que madura el proyecto. No está diseñado explícitamente como una pasarela completa con enrutamiento, alternativas automáticas (fallbacks) o multi-tenancy, sino que se centra en la visibilidad y el control de costes.

Detalles clave

• Aplicación de presupuestos: A cada clave API se le pueden asignar límites de gasto diarios y mensuales. Cuando se alcanza un límite, llmtee devuelve un error HTTP 429 y deja de reenviar solicitudes hasta que se reinicia el periodo.
• Gestión de claves: El sistema admite dos tipos de claves: claves del proveedor (reenviadas directamente) y claves de llmtee (que sustituyen la clave real del proveedor en el lado del servidor). Las claves del proveedor se almacenan solo como hashes SHA-256.
• Baja sobrecarga: Los benchmarks realizados en un Apple M4 Pro mostraron una latencia añadida de 0,14 ms en p50 y 0,02 ms en p99 bajo carga, con un uso de memoria de aproximadamente 33 MB.
• Exportación de datos: Los datos de uso son accesibles mediante una interfaz web, exportaciones CSV, métricas Prometheus o un servidor MCP (Model Context Protocol) para integración con agentes de IA.
• Controles de privacidad: El registro del cuerpo de las solicitudes está habilitado por defecto con un periodo de retención de 30 días, pero los usuarios pueden desactivarlo globalmente o por solicitud para proteger datos sensibles.
• Soporte de proveedores: Funciona con OpenAI, Anthropic, OpenRouter, Groq y endpoints compatibles con OpenAI para modelos locales como Ollama y vLLM.

Antecedentes

Para los equipos que integran IA generativa en sus flujos de trabajo, la gestión de costes suele ser opaca. Los proveedores cloud cobran según el uso de tokens, el cual puede fluctuar enormemente dependiendo de la longitud del prompt y la elección del modelo. Sin un proxy, los desarrolladores deben depender de informes de facturación posteriores del proveedor, lo que dificulta establecer límites inmediatos o atribuir costes a usuarios o proyectos específicos. Un servidor proxy intercepta estas llamadas de red, permitiendo la inspección y modificación del tráfico en tiempo real antes de que llegue a la API externa.

llmtee se distingue de plataformas más pesadas como Langfuse o Helicone al minimizar los requisitos de infraestructura. Mientras que otras soluciones pueden requerir múltiples contenedores, bases de datos como ClickHouse y colas de trabajadores complejas, llmtee pretende ejecutarse como un único proceso. Esto lo hace atractivo para equipos pequeños que quieren evitar la sobrecarga operativa de mantener una gran pila de observabilidad solo para rastrear el gasto en API.

Por qué importa

Para ingenieros DevOps y líderes de TI que gestionan software autoalojado, controlar los costes variables es crítico. El uso descontrolado de LLM puede llevar a facturas inesperadas, especialmente al probar nuevos agentes o scripts de automatización. Al colocar llmtee en la ruta de las solicitudes, los equipos pueden aplicar topes estrictos que previenen excedentes de presupuesto. Aunque la herramienta señala que una sola solicitud podría superar el límite porque el coste se calcula después de recibir la respuesta, proporciona un ciclo de control mucho más ajustado que la monitorización manual.

La capacidad de atribuir costes a claves o usuarios específicos ayuda en los cargos internos (chargebacks) o la contabilidad de proyectos. Dado que llmtee permite etiquetar solicitudes con propiedades personalizadas, los gerentes de ingeniería pueden ver exactamente qué equipo o aplicación está impulsando el uso. Esta granularidad es esencial para optimizar la asignación de recursos e identificar prompts ineficientes o llamadas redundantes dentro de un entorno de desarrollo.

Además, el soporte de la herramienta para modelos locales junto con APIs alojadas proporciona una visión unificada del gasto en IA. Los equipos que experimentan con modelos de pesos abiertos en su propio hardware pueden comparar esos costes contra los de los proveedores cloud en un único panel. Esta visión holística respalda mejores decisiones estratégicas sobre dónde ejecutar cargas de inferencia basándose tanto en el rendimiento como en el impacto financiero.

Qué puedes hacer

• Despliega llmtee usando Docker o un binario independiente para probar su impacto en tus flujos de trabajo LLM existentes sin alterar el código de la aplicación.
• Configura presupuestos diarios y mensuales para cada clave API para prevenir gastos excesivos accidentales durante fases de desarrollo o pruebas.
• Habilita temporalmente el registro del cuerpo de las solicitudes para depurar peticiones de alto coste, luego desactívalo o usa campos de redacción para mantener el cumplimiento de privacidad de datos.
• Integra el endpoint de métricas Prometheus con tu pila de monitorización existente para alertar sobre picos inusuales en el uso de tokens o latencia.
• Usa claves de llmtee para agentes automatizados y pipelines de CI/CD para mantener seguras las credenciales del proveedor y aislar su gasto del de los usuarios humanos.
• Exporta regularmente los datos de uso a CSV para informes financieros y para analizar tendencias a largo plazo en eficiencia de modelos y coste por tarea.