Đánh giá tác nhân AI dựa trên trạng thái cơ sở dữ liệu thay vì đầu ra văn bản

Vào ngày 3 tháng 10 năm 2026, Microsoft và Hugging Face đã cùng công bố ThinkingBox, một khung đánh giá mới dành cho các tác nhân AI tự động. Cách tiếp cận này chuyển trọng tâm từ việc chấm điểm các phản hồi ngôn ngữ tự nhiên do tác nhân tạo ra sang việc xác minh những thay đổi trạng thái thực tế mà nó để lại trong các hệ thống backend. Sáng kiến này làm nổi bật một khoảng trống quan trọng trong các phương pháp kiểm thử hiện tại, nơi các tác nhân có thể trông như thành công trong nhật ký nhưng lại không thực thi đúng logic nghiệp vụ cần thiết.

Chuyện gì đã xảy ra

Insight cốt lõi đằng sau ThinkingBox là một tác nhân có thể thực hiện một loạt các lệnh gọi công cụ (tool calls) chính xác, tạo ra một tin nhắn kết thúc lịch sự và chuyên nghiệp, nhưng vẫn thất bại trong việc đạt được kết quả mong muốn. Trong một hướng dẫn mẫu được cung cấp, một tác nhân hỗ trợ đã xử lý một trường hợp liên quan đến thiết bị nhà bếp bị giao chậm. Tác nhân đã đọc chính sách, thực hiện chín lệnh gọi công cụ và đóng ticket với thông báo rằng vấn đề đã được giải quyết. Tuy nhiên, trạng thái cuối cùng bắt buộc đối với trường hợp này là đặt hàng vào trạng thái tạm dừng (on hold), chứ không phải đánh dấu là đã giải quyết. Trong khi một bộ đánh giá truyền thống nhìn vào bản ghi chép cuộc hội thoại sẽ coi đây là một thành công, thì việc kiểm tra cơ sở dữ liệu tiết lộ rằng khách hàng chưa bao giờ nhận được giải pháp chính xác.

Sự sai lệch này không chỉ mang tính lý thuyết. Các tác giả đã phân tích một phép loại trừ (ablation) trên tập dữ liệu chung bao gồm 121.680 lần thử nghiệm hợp lệ trên 12 mô hình khác nhau. Họ phát hiện ra rằng 79.853 lần thử đã thất bại trong các kiểm tra có thể thực thi. Trong số những lần thất bại này, 67,24% kết thúc sạch sẽ, gọi các công cụ thay đổi trạng thái và không báo cáo lỗi. Mặc dù kết thúc sạch sẽ, việc kiểm tra sâu hơn cho thấy các giá trị trường sai trong 77,61% các trường hợp này, các hiệu ứng phụ không mong muốn trong 43,30%, và thiếu các hiệu ứng bắt buộc trong 25,36%. Những vấn đề chồng chéo này chứng minh rằng một trace màu xanh lá cây (thành công) trong các công cụ giám sát không đảm bảo trạng thái đạt yêu cầu trong hệ thống lưu trữ hồ sơ (system of record).

Để giải quyết điều này, khung làm việc đề xuất một vòng lặp xác thực nghiêm ngặt. Các nhóm phải xác định trạng thái cuối cùng bắt buộc trong các trường cụ thể trước khi chạy. Sau khi tác nhân thực hiện hành động biến đổi (mutating action) cuối cùng, hệ thống phải đọc lại bản ghi trực tiếp từ cơ sở dữ liệu, bỏ qua tóm tắt của tác nhân. Các hành động hướng tới khách hàng chỉ nên tiến hành nếu việc đọc lại này xác nhận rằng các trường khớp với các yêu cầu. Quy trình này tạo ra một biên nhận ghi lại chính xác những gì đã khớp, những gì không khớp và bất kỳ thao tác ghi nào ngoài ý muốn, đảm bảo rằng định nghĩa "hoàn thành" dựa trên tính toàn vẹn dữ liệu thay vì sự trôi chảy về mặt ngôn ngữ.

Chi tiết chính

• ThinkingBox được Microsoft và Hugging Face công bố vào ngày 3 tháng 10 năm 2026.
• Trong 121.680 lần thử, 67,24% các lần thử thất bại vẫn kết thúc sạch sẽ mà không báo cáo lỗi.
• Các giá trị trường sai được tìm thấy trong 77,61% các lần thử kết thúc sạch sẽ nhưng thất bại.
• Claude Opus 5.5 đạt điểm pass@1 là 67,16% nhưng chỉ vượt qua tất cả 20 lần thử trên 241 tác vụ.
• Kimi-K3 đã giải quyết ít nhất một lần 476 trong số 507 tác vụ nhưng chỉ đạt được thành công nhất quán trên 68 tác vụ.
• Khoảng 79,9% các lỗi được quy cho các vấn đề xử lý công cụ thay vì lỗi suy luận.

Bối cảnh

Trong kiểm thử phần mềm truyền thống, các kỹ sư thường dựa vào các bài kiểm thử đơn vị (unit tests) để kiểm tra đầu ra hàm hoặc các bài kiểm thử tích hợp (integration tests) để xác minh phản hồi API. Đối với các tác nhân AI, vốn tương tác với hệ thống thông qua một chuỗi các lệnh gọi công cụ, việc đánh giá chủ yếu tập trung vào "quỹ đạo" (trajectory) hoặc con đường mà tác nhân đã đi. Điều này bao gồm việc kiểm tra xem các công cụ đúng có được gọi theo thứ tự đúng hay không và tin nhắn cuối cùng có phù hợp hay không. Phương pháp này giả định rằng nếu các bước trông có vẻ đúng, thì kết quả cũng đúng. Tuy nhiên, các tác nhân tự động hoạt động trong môi trường phi xác định (non-deterministic), nơi phản hồi của công cụ có thể thay đổi và trạng thái nội bộ của hệ thống có thể không khớp với nhận thức của tác nhân.

ThinkingBox giới thiệu khái niệm rằng quỹ đạo chỉ là một tuyên bố, trong khi trạng thái cơ sở dữ liệu là bằng chứng. Bằng cách coi các hành động của tác nhân là một giả thuyết về trạng thái hệ thống, các nhà phát triển có thể sử dụng xác minh sau khi thực thi để kiểm chứng giả thuyết đó. Điều này vượt ra ngoài các số liệu pass/fail đơn giản dựa trên một lần chạy duy nhất. Nó nhấn mạnh vào tính lặp lại, hỏi xem liệu một tác nhân có thể đạt được trạng thái chính xác một cách nhất quán qua nhiều lần thử từ một điểm khởi đầu sạch hay không, thay vì chỉ may mắn thành công một lần.

Tại sao điều này quan trọng

Đối với các nhóm vận hành phần mềm tự host hoặc quản lý tự động hóa nội bộ, sự phân biệt này rất quan trọng đối với độ tin cậy. Nếu bạn triển khai một tác nhân để xử lý hỗ trợ người dùng, cập nhật kho hàng hoặc giao dịch tài chính, việc tin tưởng vào tin nhắn cuối cùng của tác nhân là một rủi ro đáng kể. Một tác nhân có thể tự tin báo cáo rằng hoàn tiền đã được xử lý vì cổng thanh toán trả về mã thành công chung chung, ngay cả khi sổ cái nội bộ không được cập nhật do tình huống tranh chấp (race condition) hoặc sự không khớp schema. Nếu không xác minh bản ghi thực tế, nhóm của bạn có thể không biết về sự hỏng hóc dữ liệu mang tính hệ thống cho đến khi khách hàng phàn nàn.

Hơn nữa, cách tiếp cận này ảnh hưởng đến cách bạn lựa chọn và tối ưu hóa mô hình. Dữ liệu benchmark cho thấy điểm số tiêu đề cao hơn không nhất thiết đồng nghĩa với độ tin cậy tốt hơn. Claude Opus 5.5 có điểm pass@1 cao hơn một chút so với Claude Opus 5, nhưng cả hai mô hình đều đạt được thành công nhất quán trên cùng số lượng tác vụ. Việc chọn một mô hình dựa trên khả năng giải quyết một tác vụ ít nhất một lần, thay vì mỗi lần, dẫn đến các hệ thống sản xuất dễ vỡ. Hiểu rằng hầu hết các lỗi bắt nguồn từ việc xử lý công cụ thay vì suy luận gợi ý rằng nỗ lực kỹ thuật nên tập trung vào các chính sách thử lại (retry policies) mạnh mẽ và các bề mặt công cụ nhỏ hơn, đáng tin cậy hơn thay vì đơn giản nâng cấp lên các mô hình lớn hơn.

Bạn có thể làm gì

• Xác định trạng thái cuối cùng bắt buộc cho quy trình làm việc của tác nhân bằng cách sử dụng các trường cơ sở dữ liệu cụ thể trước khi thực thi.
• Triển khai một bước đọc lại sau khi ghi (post-write readback step) truy vấn hệ thống lưu trữ hồ sơ sau khi tác nhân hoàn thành nhiệm vụ.
• Chặn các thông báo hiển thị cho khách hàng cho đến khi việc đọc lại xác nhận rằng tất cả các trường bắt buộc khớp với trạng thái mong đợi.
• Tạo một biên nhận diff cho mỗi lần chạy liệt kê các trường khớp, các trường không khớp và bất kỳ tác dụng phụ không mong muốn nào.
• Chạy các quy trình làm việc quan trọng của bạn nhiều lần từ một trạng thái sạch để đo lường tính nhất quán, nhắm mục tiêu vào thành công every-of-k thay vì best-of-k.
• Kiểm toán các số liệu đánh giá hiện tại của bạn để đảm bảo chúng không thưởng cho các tác nhân vì những cách đóng lại lịch sự nhưng sai.