llmtee cung cấp giải pháp theo dõi chi phí LLM tự chủ và giới hạn ngân sách

Được phát hành vào ngày 11 tháng 11 năm 2026, llmtee là một proxy tự chủ mới được thiết kế để giám sát và kiểm soát chi phí sử dụng Mô hình Ngôn ngữ Lớn (LLM). Do lập trình viên garritfra tạo ra, công cụ này nằm giữa ứng dụng của bạn và các nhà cung cấp như OpenAI, Anthropic hoặc các mô hình cục bộ như Ollama, cung cấp khả năng hiển thị về mức tiêu thụ token và thực thi các giới hạn ngân sách cứng nhắc mà không yêu cầu thay đổi mã trong các ứng dụng khách.

Chuyện gì đã xảy ra

Dự án giới thiệu một proxy nhẹ hoạt động tương tự như lệnh tee của Unix. Nó chuyển tiếp các yêu cầu và phản hồi API đến đích mà không thay đổi nội dung, đồng thời giữ lại một bản sao dữ liệu để phân tích. Điều này cho phép các nhà phát triển tiếp tục sử dụng các SDK và công cụ tiêu chuẩn, chẳng hạn như Claude Code hoặc thư viện Python của OpenAI, chỉ bằng cách thay đổi cấu hình URL cơ sở để trỏ đến instance llmtee cục bộ của họ. Công cụ này ghi lại mọi yêu cầu, thu thập các chi tiết bao gồm số lượng token, chi phí tiền tệ, độ trễ và thời gian phản hồi token đầu tiên.

llmtee được phân phối dưới dạng một binary Go duy nhất, giúp đơn giản hóa việc triển khai cho các nhóm nhỏ và cá nhân. Mặc định nó sử dụng SQLite, nghĩa là việc sao lưu chỉ đơn giản là sao chép một tệp, mặc dù nó cũng hỗ trợ PostgreSQL cho các thiết lập mạnh mẽ hơn. Phiên bản hiện tại là 0.x, cho thấy cấu hình và tính năng có thể vẫn còn thay đổi khi dự án trưởng thành. Nó rõ ràng không được thiết kế như một gateway đầy đủ tính năng với định tuyến, dự phòng hoặc đa thuê bao, mà tập trung vào khả năng hiển thị và kiểm soát chi phí.

Chi tiết chính

• Thực thi ngân sách: Mỗi khóa API có thể được gán giới hạn chi tiêu hàng ngày và hàng tháng. Khi đạt đến giới hạn, llmtee trả về lỗi HTTP 429 và ngừng chuyển tiếp các yêu cầu cho đến khi chu kỳ đặt lại.
• Quản lý khóa: Hệ thống hỗ trợ hai loại khóa: khóa nhà cung cấp (được chuyển tiếp trực tiếp) và khóa llmtee (thay thế bằng khóa nhà cung cấp thực ở phía máy chủ). Khóa nhà cung cấp chỉ được lưu trữ dưới dạng SHA-256 hash.
• Chi phí thấp: Các bài kiểm tra hiệu suất trên Apple M4 Pro cho thấy độ trễ tăng thêm là 0,14 ms ở p50 và 0,02 ms ở p99 dưới tải, với mức sử dụng bộ nhớ khoảng 33 MB.
• Xuất dữ liệu: Dữ liệu sử dụng có thể được truy cập qua giao diện người dùng web, xuất CSV, số liệu Prometheus hoặc máy chủ MCP (Model Context Protocol) để tích hợp với các tác nhân AI.
• Kiểm soát quyền riêng tư: Ghi nhật ký nội dung (body logging) được bật theo mặc định với thời gian lưu giữ 30 ngày, nhưng người dùng có thể tắt nó toàn cục hoặc theo từng yêu cầu để bảo vệ dữ liệu nhạy cảm.
• Hỗ trợ nhà cung cấp: Nó hoạt động với OpenAI, Anthropic, OpenRouter, Groq và các endpoint tương thích OpenAI cho các mô hình cục bộ như Ollama và vLLM.

Bối cảnh

Đối với các nhóm tích hợp AI tạo sinh vào quy trình làm việc, quản lý chi phí thường không minh bạch. Các nhà cung cấp đám mây tính phí dựa trên mức sử dụng token, có thể biến động mạnh tùy thuộc vào độ dài prompt và lựa chọn mô hình. Nếu không có proxy, các nhà phát triển phải dựa vào báo cáo hóa đơn sau sự kiện từ nhà cung cấp, khiến việc đặt giới hạn tức thì hoặc quy trách nhiệm chi phí cho người dùng hoặc dự án cụ thể trở nên khó khăn. Một máy chủ proxy chặn các cuộc gọi mạng này, cho phép kiểm tra và sửa đổi lưu lượng theo thời gian thực trước khi nó đến API bên ngoài.

llmtee khác biệt so với các nền tảng nặng nề hơn như Langfuse hoặc Helicone bằng cách tối thiểu hóa yêu cầu hạ tầng. Trong khi các giải pháp khác có thể yêu cầu nhiều container, cơ sở dữ liệu như ClickHouse và các hàng đợi worker phức tạp, llmtee nhắm mục tiêu chạy như một quy trình duy nhất. Điều này làm cho nó hấp dẫn đối với các nhóm nhỏ muốn tránh chi phí vận hành của việc duy trì một stack quan sát lớn chỉ để theo dõi chi tiêu API.

Tại sao điều này quan trọng

Đối với các kỹ sư DevOps và lãnh đạo IT quản lý phần mềm tự chủ, việc kiểm soát chi phí biến đổi là rất quan trọng. Việc sử dụng LLM không được kiểm soát có thể dẫn đến những hóa đơn bất ngờ, đặc biệt là khi thử nghiệm các tác nhân hoặc script tự động mới. Bằng cách đặt llmtee vào đường dẫn yêu cầu, các nhóm có thể thực thi các giới hạn cứng nhắc ngăn ngừa vượt quá ngân sách. Mặc dù công cụ lưu ý rằng một yêu cầu đơn lẻ có thể vượt quá giới hạn vì chi phí được tính toán sau khi phản hồi đến, nó cung cấp một vòng lặp kiểm soát chặt chẽ hơn nhiều so với giám sát thủ công.

Khả năng quy trách nhiệm chi phí cho các khóa hoặc người dùng cụ thể giúp ích cho việc hoàn phí nội bộ hoặc kế toán dự án. Vì llmtee cho phép gắn thẻ các yêu cầu với các thuộc tính tùy chỉnh, các quản lý kỹ thuật có thể thấy chính xác nhóm hoặc ứng dụng nào đang thúc đẩy mức sử dụng. Sự chi tiết này là cần thiết để tối ưu hóa phân bổ tài nguyên và xác định các prompt kém hiệu quả hoặc các cuộc gọi dư thừa trong môi trường phát triển.

Hơn nữa, việc hỗ trợ các mô hình cục bộ cùng với API được lưu trữ cung cấp một cái nhìn thống nhất về chi tiêu AI. Các nhóm thử nghiệm các mô hình mở (open-weight models) trên phần cứng riêng của họ có thể so sánh các chi phí đó với các nhà cung cấp đám mây trên một dashboard duy nhất. Cái nhìn tổng thể này hỗ trợ các quyết định chiến lược tốt hơn về nơi chạy khối lượng công việc suy luận dựa trên cả hiệu suất và tác động tài chính.

Bạn có thể làm gì

• Triển khai llmtee bằng Docker hoặc binary độc lập để kiểm tra tác động của nó lên quy trình LLM hiện có mà không thay đổi mã ứng dụng.
• Cấu hình ngân sách hàng ngày và hàng tháng cho mỗi khóa API để ngăn chi tiêu quá mức vô tình trong giai đoạn phát triển hoặc thử nghiệm.
• Bật ghi nhật ký nội dung tạm thời để gỡ lỗi các yêu cầu chi phí cao, sau đó tắt nó hoặc sử dụng các trường che giấu (redaction fields) để duy trì tuân thủ quyền riêng tư dữ liệu.
• Tích hợp endpoint số liệu Prometheus với stack giám sát hiện có của bạn để cảnh báo về các đỉnh bất thường trong mức sử dụng token hoặc độ trễ.
• Sử dụng các khóa llmtee cho các tác nhân tự động và pipeline CI/CD để giữ an toàn thông tin đăng nhập của nhà cung cấp và cô lập chi tiêu của chúng khỏi người dùng con người.
• Xuất dữ liệu sử dụng sang CSV định kỳ cho báo cáo tài chính và để phân tích xu hướng dài hạn về hiệu quả mô hình và chi phí trên mỗi tác vụ.