Tự host

open-monitor bổ sung bộ lọc LLM và webhook có chữ ký cho công cụ theo dõi tự lưu trữ

Một công cụ mới tự lưu trữ sử dụng các mô hình ngôn ngữ lớn để lọc kết quả tìm kiếm và thay đổi trang, chỉ gửi các cập nhật liên quan qua webhook bảo mật.

Minh họa một kệ server với kính lúp đang kiểm tra biểu tượng webhook.
Ảnh minh họa tạo riêng cho bài viết

Bài được dịch tự động từ bản gốc tiếng Anh.

Nhà phát triển Dhananjay-JSR đã ra mắt open-monitor, một máy chủ tự lưu trữ giám sát các tìm kiếm trên web và những thay đổi cụ thể trên các trang. Được công bố trên GitHub vào tháng 11 năm 2026, công cụ này sử dụng một mô hình ngôn ngữ lớn (LLM) để đánh giá xem nội dung mới có khớp với mục tiêu do người dùng định nghĩa hay không trước khi gửi cảnh báo qua các webhook có chữ ký.

Chuyện gì đã xảy ra

Dự án giới thiệu một hệ thống giám sát chạy trên Node.js hoặc Cloudflare Workers, lưu trữ dữ liệu trong SQLite hoặc D1. Nó hỗ trợ hai loại giám sát chính: giám sát tìm kiếm truy vấn các nhà cung cấp như Tavily hoặc phiên bản SearXNG tự lưu trữ, và giám sát trang tải URL và so sánh văn bản với các phiên bản trước đó. Đổi mới cốt lõi là "judge" (bộ đánh giá), một lệnh gọi LLM chấm điểm mỗi kết quả ứng viên từ 0 đến 1 dựa trên mức độ liên quan đến mục tiêu đã nêu.

Các kết quả có điểm từ 0.5 trở lên được giữ lại và chuyển tiếp đến endpoint webhook đã cấu hình. Hệ thống xử lý giới hạn tốc độ cho các gói LLM miễn phí bằng cách chia sẻ số lượng đếm theo phút giữa các quy trình và chờ các header thử lại khi đạt giới hạn. Đối với các trang phụ thuộc vào kết xuất JavaScript, công cụ tích hợp với trình duyệt headless thông qua Chrome DevTools Protocol, hỗ trợ các tùy chọn như Lightpanda hoặc các phiên bản Chrome tiêu chuẩn.

Độ tin cậy của việc phân phối được quản lý thông qua lịch trình thử lại mạnh mẽ. Nếu một webhook thất bại, hệ thống sẽ thử gửi lại sau năm giây, năm phút, ba mươi phút, hai giờ, năm giờ và mười giờ. Các chuyển hướng được coi là thất bại. Nếu cả bảy lần thử đều thất bại, trình giám sát sẽ tạm dừng tự động để ngăn lãng phí tài nguyên, ghi log lý do là webhook_failing. Việc xoay vòng bí mật (secret rotation) được hỗ trợ, với các bí mật cũ vẫn còn hiệu lực để ký cùng với các bí mật mới trong hai mươi bốn giờ.

Chi tiết chính

  • Bộ đánh giá mặc định sử dụng các mô hình miễn phí của OpenRouter, cho phép hai mươi yêu cầu mỗi phút và năm mươi mỗi ngày mà không cần tín dụng.
  • Các sự kiện webhook tuân theo đặc tả Standard Webhooks, sử dụng chữ ký HMAC-SHA256 để xác minh.
  • Sự khác biệt về trang (page diffs) gửi đến LLM bị giới hạn ở hai mươi tư kibibyte để quản lý việc sử dụng token.
  • Bảng điều khiển yêu cầu ba biến môi trường để kích hoạt: user, password và session secret.
  • Các nỗ lực đăng nhập thất bại sẽ khóa tên người dùng và địa chỉ IP trong mười lăm phút sau năm mật khẩu sai.
  • Telemetry xuất các trace và counter qua OTLP/HTTP, đảm bảo rằng các bí mật và nội dung trang không bao giờ được đưa vào logs.

Bối cảnh

Các công cụ giám sát tự lưu trữ thường dựa vào khớp từ khóa hoặc thuật toán so sánh khác biệt đơn giản để phát hiện thay đổi. Những phương pháp này thường tạo ra nhiều nhiễu, cảnh báo người dùng về những thay đổi nhỏ trong bố cục hoặc những đề cập không liên quan. Bằng cách tích hợp một mô hình ngôn ngữ lớn làm bộ lọc, công cụ này nhằm giảm thiểu dương tính giả bằng cách hiểu bối cảnh ngữ nghĩa của sự thay đổi chứ không chỉ phát hiện sự khác biệt về mặt văn bản.

Webhook có chữ ký là một tiêu chuẩn bảo mật đảm bảo rằng dữ liệu nhận được bởi một máy chủ thực sự đến từ nguồn dự kiến. Nếu không có xác minh chữ ký, kẻ tấn công có thể gửi các cảnh báo giả để kích hoạt các hành động tự động. Giao thức Standard Webhooks được sử dụng ở đây cung cấp một cách nhất quán để xác minh các chữ ký này trên nhiều ngôn ngữ lập trình và nền tảng khác nhau, nâng cao tính bảo mật của các quy trình làm việc tự động.

Tại sao nó quan trọng

Đối với các đội ngũ vận hành cơ sở hạ tầng phần mềm riêng, việc giảm nhiễu là rất quan trọng. Mệt mỏi vì cảnh báo khiến các kỹ sư bỏ qua những thông báo quan trọng. Bằng cách lọc kết quả tìm kiếm và thay đổi trang qua LLM trước khi chúng đến tay người vận hành hoặc các hệ thống downstream, công cụ này đảm bảo rằng chỉ các sự kiện có tín hiệu cao mới kích hoạt hành động. Điều này đặc biệt hữu ích cho tình báo cạnh tranh, theo dõi các thay đổi quy định hoặc giám sát các cập nhật tài liệu kỹ thuật cụ thể.

Tính chất tự lưu trữ của dự án giải quyết các lo ngại về quyền riêng tư dữ liệu phổ biến trong môi trường doanh nghiệp. Vì logic giám sát, cơ sở dữ liệu và tương tác LLM có thể chạy hoàn toàn trong mạng riêng tư hoặc trên cơ sở hạ tầng đám mây đáng tin cậy, các truy vấn tìm kiếm nhạy cảm và nội dung trang không cần phải đi qua các nền tảng giám sát SaaS của bên thứ ba. Sự kiểm soát này rất quan trọng đối với các công ty xử lý thông tin độc quyền hoặc hoạt động dưới các yêu cầu tuân thủ nghiêm ngặt.

Ngoài ra, logic thử lại và cơ chế tạm dừng tích hợp sẵn bảo vệ các dịch vụ nội bộ khỏi bị quá tải bởi các endpoint thất bại. Trong các kiến trúc microservice phức tạp, một receiver webhook cấu hình sai có thể gây ra các vấn đề lan truyền nếu phía gửi không xử lý lỗi một cách khéo léo. Việc xử lý rõ ràng các chuyển hướng như là thất bại và chiến lược backoff tiến bộ cung cấp một mẫu tích hợp ổn định cho các đội ngũ DevOps.

Bạn có thể làm gì

  • Triển khai stack Docker Compose để kiểm tra toàn bộ bộ công cụ, bao gồm SearXNG cho tìm kiếm riêng tư và Lightpanda cho kết xuất JavaScript.
  • Cấu hình bộ đánh giá LLM để sử dụng một phiên bản Ollama cục bộ nếu bạn yêu cầu hoạt động hoàn toàn air-gapped mà không có các cuộc gọi API bên ngoài.
  • Thiết lập các exporter OpenTelemetry để gửi trace đến Grafana Cloud, cho phép bạn trực quan hóa độ trễ của các bước tìm kiếm, đánh giá và phân phối.
  • Sử dụng tính năng "Copy for AGENTS.md" trong bảng điều khiển để nhanh chóng tích hợp tài liệu API vào cửa sổ ngữ cảnh của AI agent của bạn.
  • Kiểm tra xác minh webhook bằng đoạn mã Node.js được cung cấp để đảm bảo endpoint nhận của bạn xác thực đúng các chữ ký HMAC trước khi xử lý sự kiện.
  • Giám sát endpoint /v1/monitors/{id}/deliveries để kiểm toán các lần phân phối thất bại và xác định các vấn đề kết nối dai dẳng với các đích webhook của bạn.

Tin khác

Tất cả tin