llmtee bietet selbst gehostetes LLM-Kosten-Tracking und Budgetlimits

Am 11. November 2026 veröffentlicht, ist llmtee ein neuer selbst gehosteter Proxy, der entwickelt wurde, um die Kosten für die Nutzung großer Sprachmodelle (LLMs) zu überwachen und zu kontrollieren. Dieses Tool, erstellt vom Entwickler garritfra, schaltet sich zwischen Ihre Anwendungen und Anbieter wie OpenAI, Anthropic oder lokale Modelle wie Ollama. Es bietet Einblicke in den Tokenverbrauch und erzwingt harte Budgetlimits, ohne dass Codeänderungen in Ihren Client-Anwendungen erforderlich sind.

Was passiert ist

Das Projekt stellt einen leichtgewichtigen Proxy vor, der ähnlich wie der Unix-Befehl tee funktioniert. Er leitet API-Anfragen und -Antworten unverändert an ihr Ziel weiter, während er gleichzeitig eine Kopie der Daten zur Analyse speichert. Dies ermöglicht es Entwicklern, weiterhin Standard-SDKs und Tools wie Claude Code oder die OpenAI Python Library zu nutzen, indem sie einfach die Basis-URL-Konfiguration auf ihre lokale llmtee-Instanz ändern. Das Tool protokolliert jede Anfrage und erfasst Details wie Tokenanzahl, monetäre Kosten, Latenz und Zeit bis zum ersten Token.

llmtee wird als einzelne Go-Binary verteilt, was die Bereitstellung für kleine Teams und Einzelpersonen vereinfacht. Standardmäßig verwendet es SQLite, sodass ein Backup so einfach ist wie das Kopieren einer Datei; für robustere Setups unterstützt es auch PostgreSQL. Die aktuelle Version ist 0.x, was darauf hinweist, dass Konfiguration und Funktionen im Zuge der Reifung des Projekts noch Änderungen unterliegen können. Es ist ausdrücklich nicht als vollwertiges Gateway mit Routing, Fallbacks oder Multi-Tenancy konzipiert, sondern konzentriert sich stattdessen auf Kostentransparenz und Kontrolle.

Wichtige Details

• Budgetdurchsetzung: Jedem API-Schlüssel können tägliche und monatliche Ausgabelimits zugewiesen werden. Wenn ein Limit erreicht ist, gibt llmtee einen HTTP-429-Fehler zurück und stoppt die Weiterleitung von Anfragen, bis der Zeitraum zurückgesetzt wird.
• Schlüsselverwaltung: Das System unterstützt zwei Schlüsseltypen: Anbieterschlüssel (direkt weitergeleitet) und llmtee-Schlüssel (die den echten Anbieterschlüssel serverseitig austauschen). Anbieterschlüssel werden nur als SHA-256-Hashes gespeichert.
• Geringer Overhead: Benchmarks auf einem Apple M4 Pro zeigten bei Last eine zusätzliche Latenz von 0,14 ms bei p50 und 0,02 ms bei p99, mit einem Speicherverbrauch von etwa 33 MB.
• Datenexport: Nutzungsdaten können über eine Web-UI, CSV-Exporte, Prometheus-Metriken oder einen MCP-Server (Model Context Protocol) zur Integration mit KI-Agenten abgerufen werden.
• Datenschutzkontrollen: Die Protokollierung des Nachrichteninhalts ist standardmäßig aktiviert mit einer Aufbewahrungsdauer von 30 Tagen, aber Benutzer können sie global oder pro Anfrage deaktivieren, um sensible Daten zu schützen.
• Anbieterunterstützung: Es funktioniert mit OpenAI, Anthropic, OpenRouter, Groq sowie OpenAI-kompatiblen Endpunkten für lokale Modelle wie Ollama und vLLM.

Hintergrund

Für Teams, die generative KI in ihre Workflows integrieren, ist das Kostenmanagement oft intransparent. Cloud-Anbieter berechnen Gebühren basierend auf dem Tokenverbrauch, der je nach Promptlänge und Modellwahl stark schwanken kann. Ohne einen Proxy müssen sich Entwickler auf nachträgliche Rechnungsberichte des Anbieters verlassen, was es schwierig macht, sofortige Limits festzulegen oder Kosten bestimmten Benutzern oder Projekten zuzuordnen. Ein Proxyserver fängt diese Netzwerkanrufe ab und ermöglicht die Echtzeitprüfung und -modifikation des Traffics, bevor er die externe API erreicht.

llmtee unterscheidet sich von schwereren Plattformen wie Langfuse oder Helicone durch die Minimierung der Infrastruktur Anforderungen. Während andere Lösungen möglicherweise mehrere Container, Datenbanken wie ClickHouse und komplexe Worker-Queues erfordern, zielt llmtee darauf ab, als einzelner Prozess zu laufen. Dies macht es attraktiv für kleine Teams, die den operativen Overhead vermeiden möchten, der mit der Wartung eines großen Observability-Stacks nur zur Verfolgung der API-Ausgaben verbunden ist.

Warum es wichtig ist

Für DevOps-Ingenieure und IT-Leiter, die selbst gehostete Software verwalten, ist die Kontrolle variabler Kosten entscheidend. Unkontrollierte LLM-Nutzung kann zu unerwarteten Rechnungen führen, insbesondere beim Testen neuer Agenten oder Automatisierungsskripte. Indem Sie llmtee in den Anfragepfad einfügen, können Teams harte Caps durchsetzen, die Budgetüberschreitungen verhindern. Obwohl das Tool darauf hinweist, dass eine einzelne Anfrage das Limit überschreiten könnte, da die Kosten erst nach Ankunft der Antwort berechnet werden, bietet es einen deutlich engeren Regelkreis als manuelles Monitoring.

Die Möglichkeit, Kosten bestimmten Schlüsseln oder Benutzern zuzuordnen, hilft bei internen Verrechnungen oder der Projektbuchhaltung. Da llmtee das Tagging von Anfragen mit benutzerdefinierten Eigenschaften ermöglicht, können Engineering-Manager genau sehen, welches Team oder welche Anwendung die Nutzung treibt. Diese Granularität ist wesentlich für die Optimierung der Ressourcenzuweisung und die Identifizierung ineffizienter Prompts oder redundanter Aufrufe innerhalb einer Entwicklungsumgebung.

Darüber hinaus bietet die Unterstützung lokaler Modelle neben gehosteten APIs eine einheitliche Sicht auf die KI-Ausgaben. Teams, die mit Open-Weight-Modellen auf ihrer eigenen Hardware experimentieren, können diese Kosten gegen Cloud-Anbieter in einem einzigen Dashboard vergleichen. Diese ganzheitliche Sicht unterstützt bessere strategische Entscheidungen darüber, wo Inferenz-Workloads basierend auf sowohl Leistung als auch finanzieller Auswirkung ausgeführt werden sollen.

Was Sie tun können

• Stellen Sie llmtee über Docker oder eine Standalone-Binary bereit, um die Auswirkungen auf Ihre bestehenden LLM-Workflows zu testen, ohne Anwendungscode zu ändern.
• Konfigurieren Sie tägliche und monatliche Budgets für jeden API-Schlüssel, um versehentliche Ausgabenüberschreitungen während Entwicklungs- oder Testphasen zu verhindern.
• Aktivieren Sie die Inhaltprotokollierung vorübergehend, um Anfragen mit hohen Kosten zu debuggen, und deaktivieren Sie sie anschließend oder verwenden Sie Redaktionsfelder, um die Datenschutzkonformität aufrechtzuerhalten.
• Integrieren Sie den Prometheus-Metriken-Endpunkt in Ihren bestehenden Monitoring-Stack, um bei ungewöhnlichen Spitzen im Tokenverbrauch oder der Latenz Alarm zu schlagen.
• Verwenden Sie llmtee-Schlüssel für automatisierte Agenten und CI/CD-Pipelines, um Anbietercredentials sicher zu halten und deren Ausgaben von menschlichen Benutzern zu isolieren.
• Exportieren Sie Nutzungsdaten regelmäßig in CSV für Finanzberichte und analysieren Sie langfristige Trends in der Modeloeffizienz und den Kosten pro Aufgabe.