Microsoft và Hugging Face đánh giá độ tin cậy của AI agent dựa trên trạng thái cơ sở dữ liệu

Microsoft và Hugging Face đã ra mắt ThinkingBox, một bộ benchmark mới đánh giá các AI agent dựa trên trạng thái cơ sở dữ liệu thực tế mà chúng để lại, thay vì chỉ dựa vào văn bản được tạo ra hay các lệnh gọi công cụ. Được công bố vào tháng 10 năm 2026, nỗ lực chung này chuyển trọng tâm từ sự trôi chảy về ngôn ngữ sang tính chính xác trong vận hành đối với các quy trình nghiệp vụ có trạng thái (stateful).

Chuyện gì đã xảy ra

Sự hợp tác này giới thiệu một khung kiểm thử nghiêm ngặt, trong đó các AI agent được giao nhiệm vụ hoàn thành các quy trình nghiệp vụ cụ thể, chẳng hạn như xử lý hoàn tiền hoặc cập nhật ticket khách hàng. Thay vì chấm điểm agent dựa trên việc nó có gọi đúng công cụ hay viết phản hồi lịch sự hay không, ThinkingBox kiểm tra trạng thái backend cuối cùng. Nó xác minh xem cơ sở dữ liệu có phản ánh đúng kết quả sau khi agent hoàn tất công việc hay không. Cách tiếp cận này phơi bày một sự đứt gãy quan trọng: một agent có thể thực hiện tất cả các bước đúng theo logic của riêng mình nhưng vẫn thất bại trong việc cập nhật chính xác các bản ghi cần thiết.

Để đảm bảo tính vững chắc, bộ benchmark chạy mỗi task trong số 507 task hai mươi lần trên nhiều mô hình ngôn ngữ lớn khác nhau. Việc lặp lại này làm nổi bật các vấn đề về tính nhất quán mà các bài kiểm tra chạy đơn lẻ bỏ sót. Kết quả cho thấy nhiều mô hình hoạt động tốt ngay lần thử đầu tiên nhưng gặp khó khăn trong việc tái tạo thành công đó một cách đáng tin cậy. Bằng cách tập trung vào các kiểm tra khả thi trên các trường cơ sở dữ liệu, các tác giả cung cấp cái nhìn rõ ràng hơn về những mô hình nào có thể được tin tưởng cho các hoạt động tự động trong môi trường production.

Chi tiết chính

• ThinkingBox đánh giá các agent trên 507 quy trình nghiệp vụ có trạng thái, chạy mỗi task 20 lần độc lập.
• Trong một nghiên cứu gồm 121.680 lượt thử nghiệm hợp lệ, 67,24% các lỗi xảy ra mặc dù agent kết thúc sạch sẽ và không báo cáo lỗi.
• Claude Opus 5.5 đạt điểm pass@1 tổng thể cao nhất ở mức 67,16%, tiếp theo sát nút là Claude Opus 5 với 66,50%.
• Kimi-K3 thể hiện phạm vi năng lực rộng nhất, giải quyết được 93,89% các task ít nhất một lần, nhưng chỉ duy trì được tính nhất quán trên 13,41% các task qua cả 20 lần thử.
• Chỉ ba mô hình giữ được phần lớn hiệu suất thử đơn lẻ qua 20 lần lặp lại: GPT-6 Astra (78%), Claude Opus 5.5 (71%) và Claude Opus 5 (71%).
• Bộ benchmark có sẵn thông qua OpenEnv, cho phép các nhà phát triển kiểm thử các mô hình chống lại các phiên MCP tool cô lập.

Bối cảnh

Các bộ benchmark AI truyền thống thường dựa vào các tập dữ liệu tĩnh hoặc đánh giá chất lượng phản hồi bằng ngôn ngữ tự nhiên. Những phương pháp này giả định rằng nếu một agent nghe có vẻ đúng và sử dụng đúng công cụ, thì công việc đã hoàn thành. Tuy nhiên, trong các hệ thống phần mềm, sự thật tối thượng nằm ở kho dữ liệu. Nếu một agent dịch vụ khách hàng nói rằng ticket đã được giải quyết nhưng trạng thái cơ sở dữ liệu vẫn mở, quy trình đã thất bại bất kể mức độ tự tin của agent.

ThinkingBox giải quyết điều này bằng cách coi mọi quỹ đạo (trajectory) của agent là một tuyên bố và trạng thái cơ sở dữ liệu là bằng chứng. Nó sử dụng các môi trường cô lập để ngăn chặn các tác dụng phụ làm ô nhiễm các bài kiểm tra khác. Phương pháp này phù hợp hơn với cách các nhóm kỹ thuật xác minh tính toàn vẹn của phần mềm, tập trung vào tính idempotency (tái lập) và tính chính xác của trạng thái thay vì chỉ hoàn thành chức năng. Nó vượt ra ngoài câu hỏi "nó có hoạt động không?" để hướng tới "nó có hoạt động mọi lúc không?"

Tại sao điều này quan trọng

Đối với các đội ngũ tích hợp AI agent vào các công cụ nội bộ hoặc sản phẩm hướng đến khách hàng, bộ benchmark này mang đến một bài kiểm tra thực tế. Dựa vào các chỉ số thành công chạy đơn lẻ có thể dẫn đến các quy trình tự động mong manh, dễ vỡ dưới những biến đổi nhỏ trong đầu vào hoặc hành vi của mô hình. Tỷ lệ cao các lỗi thầm lặng—nơi agent báo cáo thành công nhưng dữ liệu sai—gây ra rủi ro đáng kể cho các giao dịch tài chính, quản lý tồn kho và cập nhật tài khoản người dùng.

Việc hiểu rõ sự khác biệt giữa phạm vi bao phủ và tính nhất quán giúp ích trong việc lựa chọn mô hình. Một mô hình như Kimi-K3 có thể phù hợp cho các task khám phá nơi phạm vi bao phủ là chìa khóa, trong khi Claude Opus 5 phù hợp hơn cho các hoạt động lặp đi lặp lại, rủi ro cao nơi độ tin cậy là điều kiện bắt buộc. Các đội ngũ có thể sử dụng những hiểu biết này để thiết kế các cơ chế dự phòng và các điểm kiểm soát con người trong vòng lặp (human-in-the-loop checkpoints) cho các task mà tính nhất quán của mô hình giảm xuống dưới ngưỡng chấp nhận được.

Bạn có thể làm gì

• Đánh giá các AI agent hiện tại của bạn bằng cách sử dụng ThinkingBox.
• Kiểm tra tính nhất quán của các workflow tự động hóa bằng cách chạy lặp lại các kịch bản quan trọng.
• Thiết lập các giám sát trạng thái cơ sở dữ liệu để phát hiện các lỗi thầm lặng.
• Cân nhắc sử dụng các mô hình có điểm nhất quán cao cho các tác vụ kinh doanh cốt lõi.