Dữ liệu & bảng tính

Công cụ mới giúp giảm dữ liệu bảng tính cho AI agent xuống 1000 lần

Sheetgraph chuyển đổi các tệp Excel và Google Sheets phức tạp thành báo cáo gọn nhẹ, cho phép các AI agent phân tích tập dữ liệu lớn mà không vượt quá giới hạn token.

Hình minh họa một bảng tính đang được phân tích và nén thành một bản đồ logic
Ảnh minh họa tạo riêng cho bài viết

Bài được dịch tự động từ bản gốc tiếng Anh.

Một tiện ích mã nguồn mở mới có tên sheetgraph đã được ra mắt nhằm hỗ trợ các tác nhân trí tuệ nhân tạo (AI) diễn giải các bảng tính phức tạp mà không tiêu tốn quá nhiều tài nguyên tính toán. Được phát triển bởi đội ngũ đứng sau Love Spreadsheets, công cụ viết bằng Rust này xử lý các tệp Excel và Google Sheets cục bộ, tạo ra những bản tóm tắt ngắn gọn vẫn giữ lại cấu trúc logic quan trọng trong khi loại bỏ dữ liệu trùng lặp.

Chuyện gì đã xảy ra

Thách thức chính mà bản phát hành này giải quyết là khả năng hạn chế của các mô hình ngôn ngữ lớn hiện tại trong việc xử lý hiệu quả dữ liệu thô từ bảng tính. Một sổ làm việc điển hình chứa hàng trăm nghìn ô có thể cần tới hàng triệu token để biểu diễn dưới dạng văn bản thuần túy, điều này thường quá đắt đỏ hoặc về mặt kỹ thuật là bất khả thi đối với cửa sổ ngữ cảnh chuẩn của AI. Sheetgraph giải quyết vấn đề này bằng cách trích xuất logic nền tảng của bảng tính thay vì chỉ lấy các giá trị thô. Nó tạo ra một báo cáo markdown ngắn và một đồ thị phụ thuộc công thức, giúp giảm kích thước dữ liệu xuống khoảng một nghìn lần.

Ví dụ, một sổ cái hóa đơn với 120.000 ô và 32.000 công thức thường sẽ yêu cầu khoảng 1,3 triệu token để xuất dưới dạng văn bản. Với sheetgraph, cùng một tệp đó được nén thành một báo cáo gồm khoảng 7.000 token. Công cụ đạt được mức độ nén này bằng cách xác định các mẫu hình, chẳng hạn như các cột mà mọi ô đều sử dụng cùng một công thức, và biểu diễn chúng thành một nhóm duy nhất. Nó cũng làm nổi bật các điểm không nhất quán, chẳng hạn như các ô mà người dùng đã nhập thủ công đè lên công thức, vốn là những nguồn lỗi phổ biến trong các mô hình tài chính.

Chi tiết chính

  • Giảm đáng kể số lượng token: Công cụ giảm kích thước dữ liệu khoảng 1000 lần, biến một job tracker 961.000 token thành một báo cáo 940 token.
  • Xử lý cục bộ: Được viết bằng Rust, binary chạy cục bộ trên macOS, Linux và Windows, đảm bảo dữ liệu nhạy cảm không bao giờ rời khỏi máy của người dùng.
  • Theo dõi phụ thuộc công thức: Nó lập bản đồ luồng dữ liệu giữa các sheet, các hàm tra cứu và liên kết ngoài, cho phép các agent truy vết các ô tiền nhiệm (precedents) và hậu nhiệm (dependents) của bất kỳ ô cụ thể nào.
  • Phát hiện lỗi: Báo cáo xác định rõ ràng vị trí các cột công thức bị phá vỡ bởi các giá trị hardcode, giúp dễ dàng phát hiện các thao tác ghi đè thủ công.
  • Tích hợp Agent: Nó được đóng gói như một skill cho Claude Code và có thể tích hợp vào các agent khác như Codex và Cursor thông qua cấu hình thư mục skills đơn giản.
  • Hỗ trợ định dạng rộng rãi: Hỗ trợ xlsx, xlsm, xls, xlsb, ods, csv và Google Sheets, xử lý lên đến 10 triệu ô trong các tệp cục bộ.

Bối cảnh

Để hiểu giá trị của công cụ này, cần nhận thức được cách bảng tính lưu trữ dữ liệu so với cách các mô hình AI đọc nó. Bảng tính có cấu trúc rất chặt chẽ, với nhiều ô chia sẻ các công thức hoặc định dạng giống hệt nhau. Tuy nhiên, khi chuyển đổi sang văn bản thuần túy cho AI, cấu trúc này bị mất đi và mỗi ô riêng lẻ đều được coi là thông tin độc nhất. Sự dư thừa này làm phình to cửa sổ ngữ cảnh, tức là lượng văn bản hạn chế mà AI có thể xem xét cùng một lúc.

Sheetgraph hoạt động như một phiên dịch viên giữa hai thế giới này. Thay vì gửi từng con số, nó gửi một bản đồ. Nó nhóm các công thức giống hệt nhau vào các "copy-groups" và tóm tắt các khối dữ liệu lớn dựa trên hồ sơ cột, chẳng hạn như kiểu dữ liệu, phạm vi và định dạng. Điều này cho phép AI hiểu lược đồ và logic của sổ làm việc mà không cần phải đọc từng dòng riêng lẻ. Nó được truyền cảm hứng từ các công cụ tương tự dùng cho codebase, nhưng được điều chỉnh đặc biệt cho những thách thức độc đáo của dữ liệu dạng bảng và logic bảng tính.

Tại sao điều này quan trọng

Đối với các đội ngũ phụ thuộc vào phần mềm tự host hoặc các công cụ dữ liệu nội bộ, sự phát triển này hạ thấp đáng kể rào cản sử dụng AI cho phân tích dữ liệu. Trước đây, việc yêu cầu AI kiểm toán một mô hình tài chính phức tạp hoặc gỡ lỗi một bảng tồn kho bị hỏng khá rủi ro do lo ngại về chi phí và quyền riêng tư. Bằng cách giữ quy trình xử lý ở cục bộ và giảm khối lượng dữ liệu, các kỹ sư giờ đây có thể an toàn hướng dẫn các AI agent vào các sổ làm việc nhạy cảm để đặt những câu hỏi cấp cao như "tại sao tổng này lại sai?" hoặc "sổ làm việc này làm gì?"

Điều này cũng cải thiện độ chính xác của phản hồi từ AI. Khi một agent có quyền truy cập vào đồ thị phụ thuộc công thức, nó có thể truy vết lỗi về nguồn gốc thay vì đoán mò dựa trên các giá trị tĩnh. Nó có thể phân biệt giữa một trường được tính toán và một giá trị ghi đè hardcode, điều cực kỳ quan trọng để duy trì tính toàn vẹn dữ liệu. Đối với các trưởng nhóm IT quản lý công cụ nội bộ, điều này có nghĩa là AI có thể trở thành một đối tác khả thi trong việc duy trì các quy trình làm việc dựa trên Excel cũ kỹ chưa được di chuyển sang cơ sở dữ liệu chuyên nghiệp.

Bạn có thể làm gì

  • Cài đặt công cụ trên máy cục bộ của bạn bằng script curl được cung cấp cho macOS và Linux, hoặc tải xuống tệp zip cho Windows.
  • Tích hợp sheetgraph như một skill trong trợ lý lập trình AI của bạn, chẳng hạn như Claude Code, để bật tính năng phân tích bảng tính tự động trong các cuộc trò chuyện.
  • Chạy lệnh extract trên một sổ làm việc mẫu để tạo ra REPORT.md và xem xét cách công cụ tóm tắt các cấu trúc dữ liệu cụ thể của bạn.
  • Sử dụng lệnh trace để điều tra các ô cụ thể có vẻ không chính xác, cho phép AI tự động theo dõi chuỗi phụ thuộc.
  • Kiểm thử công cụ trên các tệp lớn để xác minh mức sử dụng bộ nhớ, lưu ý rằng các tệp lên đến 10 triệu ô được giữ nguyên, trong khi các tệp lớn hơn được tóm tắt để nằm trong phạm vi 2-3 GB RAM.
  • Báo cáo bất kỳ lỗi hoặc hành vi không mong muốn nào cho repository GitHub, vì dự án hiện đang ở phiên bản beta 0.1 và API có thể thay đổi.

Tin khác

Tất cả tin