Benchmark LLM cục bộ tiết lộ các lỗi trong việc xây dựng đồ thị tri thức

Một benchmark mới được công bố vào ngày 6 tháng 11 năm 2026 đánh giá mức độ hiệu quả của các mô hình ngôn ngữ lớn (LLM) cục bộ trong việc xây dựng đồ thị tri thức từ văn bản. Nghiên cứu do Denis MacPherson thực hiện cho Chaos Cypher kiểm tra 22 mô hình có sẵn qua Ollama để xác định những mô hình nào có thể trích xuất chính xác các thực thể và mối quan hệ mà không bị ảo giác dữ liệu.

Chuyện gì đã xảy ra

Benchmark tách biệt nhiệm vụ xây dựng đồ thị tri thức thành hai giai đoạn riêng biệt: trích xuất và trò chuyện. Trong giai đoạn trích xuất, các mô hình phải đọc các đoạn văn, xác định các thực thể và mối quan hệ cụ thể, đồng thời trích dẫn chính xác câu hỗ trợ cho từng tuyên bố. Điều này được thực hiện bằng các kiểm tra hàm thuần túy nghiêm ngặt thay vì dùng một AI khác làm trọng tài, đảm bảo kết quả đạt hoặc trượt khách quan. Bài kiểm tra bao gồm 65 thăm dò độc lập và 39 thăm dò được nhúng trong các khối văn bản lớn hơn từ tiểu thuyết Chiến tranh và Hòa bình của Leo Tolstoy để mô phỏng quá trình xử lý tài liệu thực tế.

Trong giai đoạn trò chuyện, các mô hình trả lời câu hỏi dựa hoàn toàn vào đồ thị đã được trích xuất trước đó. Chúng phải cung cấp câu trả lời đúng, tránh bịa đặt thông tin không có trong ngữ cảnh và từ chối trả lời rõ ràng nếu thiếu dữ liệu. Điểm tổng thể cuối cùng phân bổ 60% cho trích xuất và 40% cho trò chuyện, với sự nhấn mạnh đặc biệt vào hiệu suất trích xuất "trong các khối văn bản" vì điều này phản ánh cách các mô hình xử lý tài liệu thực tế.

Kết quả làm nổi bật sự khác biệt đáng kể giữa kích thước mô hình và hiệu suất thực tế của chúng. Các mô hình lớn hơn không tự động hoạt động tốt hơn; ví dụ, Gemma 4 12B đã cạnh tranh sòng phẳng với các mô hình lớn hơn nhiều, trong khi một số mô hình thuộc dòng 30B gặp khó khăn với các tác vụ trích xuất có cấu trúc. Nghiên cứu nhấn mạnh rằng việc tuân thủ các định dạng đầu ra nghiêm ngặt và kỷ luật về bằng chứng là một đặc điểm của quá trình huấn luyện chứ không phụ thuộc vào số lượng tham số.

Chi tiết chính

• Benchmark đánh giá 22 mô hình cục bộ từ Ollama sử dụng một công cụ dòng lệnh có thể tái lập tên là chaoscypher-cli.
• Điểm trích xuất dao động rất lớn giữa các mô hình, trong khi điểm trò chuyện tập trung gần nhau, khiến trích xuất trở thành yếu tố phân biệt chính.
• Gemma 4 31B đạt điểm tổng thể cao nhất mà không có cảnh báo nào, đóng vai trò là mô hình tham chiếu cho các bài kiểm tra cột trò chuyện.
• Các mô hình như GPT-OSS 20B và DeepSeek-R1 14B bị gắn cờ vì bỏ qua cài đặt "tắt suy nghĩ", khiến chúng lãng phí token đầu ra cho quá trình suy luận nội bộ.
• Mỗi điểm số đều bao gồm khoảng tin cậy 90% được suy ra từ việc lấy mẫu lại các tác vụ 2.000 lần, chỉ ra rằng nhiều mô hình xếp hạng hàng đầu thực chất ngang nhau về mặt thống kê.
• Công cụ cho phép người dùng chạy benchmark cục bộ bằng các lệnh như chaoscypher benchmark run probes --local-only để xác minh mô hình trên phần cứng của họ.

Bối cảnh

Trích xuất đồ thị tri thức đòi hỏi mô hình hoạt động như một trình phân tích dữ liệu có cấu trúc chứ không phải một nhà văn sáng tạo. Khác với các tương tác trò chuyện tiêu chuẩn, nơi sự trôi chảy được coi trọng, trích xuất yêu cầu tuân thủ nghiêm ngặt định dạng, đặt tên thực thể chính xác và trích dẫn bằng chứng chặt chẽ. Nếu mô hình không trích dẫn đúng câu hoặc bịa đặt một mối quan hệ, đồ thị kết quả sẽ trở nên không đáng tin cậy cho các ứng dụng hạ nguồn.

Các hệ thống Retrieval-Augmented Generation (RAG) thường dựa vào những đồ thị này để trả lời câu hỏi của người dùng. Nếu đồ thị cơ sở lộn xộn do trích xuất kém, thành phần trò chuyện chắc chắn sẽ tạo ra các câu trả lời sai hoặc bị ảo giác, bất kể mô hình trò chuyện tinh vi đến đâu. Benchmark này cô lập hai khả năng này để giúp các nhà phát triển chọn đúng mô hình cho từng giai đoạn trong quy trình của họ.

Tại sao điều này quan trọng

Đối với các đội ngũ vận hành giải pháp AI tự chủ (self-hosted), việc chọn sai mô hình có thể dẫn đến hỏng hóc dữ liệu âm thầm. Một mô hình trò chuyện tốt nhưng trích xuất kém sẽ tạo ra một cơ sở tri thức đầy những lỗi tinh vi khó phát hiện. Bằng cách tập trung vào các chỉ số trích xuất, kỹ sư có thể đảm bảo nền tảng của hệ thống AI tài liệu vững chắc trước khi tối ưu hóa cho phong cách hội thoại.

Các phát hiện cũng thách thức giả định rằng mô hình lớn hơn luôn tốt hơn cho triển khai cục bộ. Các mô hình nhỏ hơn như Gemma 4 12B có thể vượt trội hơn các đối thủ lớn hơn trong các tác vụ có cấu trúc, mang lại khoản tiết kiệm đáng kể về bộ nhớ GPU và thời gian suy luận. Điều này cho phép các công ty vừa và nhỏ chạy các quy trình xử lý tài liệu hiệu quả, chính xác trên phần cứng khiêm tốn mà không hy sinh độ tin cậy.

Hơn nữa, sự hiện diện của các cảnh báo như cắt ngắn đầu ra hoặc lặp vô hạn cung cấp cái nhìn sâu sắc quan trọng về mặt vận hành. Biết rằng một mô hình như Llama 3.1 8B thường xuyên chạm giới hạn đầu ra giúp các nhà phát triển thiết lập thời gian chờ và logic thử lại phù hợp trong môi trường sản xuất, ngăn chặn các quy trình bị treo và nạp dữ liệu không hoàn chỉnh.

Bạn có thể làm gì

• Chạy benchmark chaoscypher-cli trên phần cứng mục tiêu của bạn để xác minh hiệu suất mô hình trước khi triển khai, sử dụng cờ --estimate để đánh giá mức sử dụng tài nguyên.
• Ưu tiên điểm trích xuất hơn điểm trò chuyện khi chọn mô hình để phân tích tài liệu, vì đây là nguồn biến thiên chính về độ chính xác.
• Kiểm tra các cảnh báo như cắt ngắn đầu ra hoặc bỏ qua cài đặt trong kết quả benchmark, vì chúng chỉ ra rủi ro vận hành có thể gây lỗi trong sản xuất.
• Cân nhắc các mô hình nhỏ hơn như Gemma 4 12B cho các tác vụ trích xuất nếu chúng đáp ứng ngưỡng độ chính xác, giảm chi phí hạ tầng và độ trễ.
• Sử dụng các khoảng tin cậy được cung cấp để xem các mô hình xếp hạng hàng đầu như một cụm các lựa chọn khả thi thay vì tìm kiếm một người chiến thắng duy nhất tuyệt đối.
• Thử nghiệm các mô hình với bộ dữ liệu tài liệu của riêng bạn bằng cách thêm chúng vào công cụ benchmark, đảm bảo rằng các kết quả chung vẫn đúng với trường hợp sử dụng cụ thể của bạn.