DevOps & giám sát

Nhật ký backup màu xanh không chứng minh được khả năng khôi phục dữ liệu

Một nhà phát triển đã chỉ ra rằng các cron job báo thành công thường che giấu những bản sao lưu bị hỏng, đồng thời minh họa cách các bài diễn tập khôi phục tự động xác thực tính toàn vẹn của dữ liệu.

Kệ server với đèn trạng thái màu xanh nhưng bên trong bị hỏng
Ảnh minh họa tạo riêng cho bài viết

Bài được dịch tự động từ bản gốc tiếng Anh.

Gần đây, một nhà phát triển đã phát hiện ra rằng tác vụ sao lưu cơ sở dữ liệu hàng đêm của họ đã báo cáo trạng thái thành công trong nhiều tháng mà chưa bao giờ được kiểm tra khả năng khôi phục dữ liệu thực tế. Bằng cách mô phỏng mất dữ liệu và thử khôi phục, họ đã tiết lộ rằng nhật ký trạng thái màu xanh lá cây chỉ xác nhận một tệp đã được ghi, chứ không đảm bảo rằng dữ liệu bên trong có thể sử dụng được hoặc hoàn chỉnh.

Chuyện gì đã xảy ra

Tác giả, người làm việc trên nền tảng triển khai tự host Levelrail, đã quyết định kiểm toán các quy trình sao lưu của mình sau khi nhận ra rằng anh ấy không thể nhớ lần cuối cùng mình nạp thành công một tệp sao lưu vào cơ sở dữ liệu là khi nào. Anh ấy thiết lập một môi trường thử nghiệm sử dụng Postgres 16 trên máy Mac với Docker, chạy phiên bản Levelrail được xây dựng từ nhánh release v1.0.1. Bài kiểm tra bao gồm việc tạo một cơ sở dữ liệu với số lượng dòng và tổng giá trị tài chính cụ thể, lên lịch sao lưu, sau đó cố ý xóa dữ liệu khỏi hệ thống đang hoạt động để mô phỏng một lỗi nghiêm trọng.

Sau khi kích hoạt bản sao lưu và xóa 500 đơn hàng khỏi cơ sở dữ liệu đang hoạt động, tác giả đã sử dụng lệnh restore-as-new để tạo một cơ sở dữ liệu riêng biệt từ tệp sao lưu. Quy trình này giữ nguyên cơ sở dữ liệu đang hoạt động bị hỏng trong khi khởi động một instance mới từ bản sao lưu. Việc so sánh hai cơ sở dữ liệu cho thấy cơ sở dữ liệu được khôi phục chứa đúng 2000 đơn hàng ban đầu và các tổng giá trị tài chính chính xác, trong khi cơ sở dữ liệu đang hoạt động hiển thị thiệt hại. Bài kiểm tra thủ công này chứng minh cơ chế sao lưu hoạt động tốt, nhưng cũng nhấn mạnh rằng cron job hàng ngày chưa bao giờ cung cấp mức độ đảm bảo như vậy.

Để tự động hóa quá trình xác minh này, tác giả đã khám phá tính năng "drill" (diễn tập) của Levelrail. Khác với việc chỉ kiểm tra sự tồn tại của tệp, một bài diễn tập sẽ tải xuống bản sao lưu, xác minh mã kiểm tra SHA-256, khôi phục nó vào một container cô lập và xác thực nội dung. Tác giả lưu ý rằng các bài diễn tập yêu cầu đích lưu trữ đối tượng (object-store) thay vì lưu trữ cục bộ, thúc đẩy anh ấy cấu hình một endpoint tương thích S3. Sau khi cấu hình, bài diễn tập đã vượt qua tất cả các bước kiểm tra, bao gồm xác minh mã kiểm tra và khớp nội dung, chuyển trạng thái sức khỏe cơ sở dữ liệu từ chưa xác minh sang khỏe mạnh.

Chi tiết quan trọng

  • Nhật ký sao lưu thành công chỉ chứng minh một tệp đã được ghi, không phải là dữ liệu có thể khôi phục được hoặc nhất quán.
  • Các bài kiểm tra khôi phục thủ công nên so sánh số lượng dòng và tổng giá trị tài chính để phát hiện các lỗi hỏng hóc dữ liệu tinh vi.
  • Lệnh restore-as-new tạo ra một instance cơ sở dữ liệu riêng biệt, đảm bảo dữ liệu sản xuất đang hoạt động không bị ảnh hưởng trong quá trình thử nghiệm.
  • Các bài diễn tập khôi phục tự động trong Levelrail xác minh mã kiểm tra và nội dung cho các cơ sở dữ liệu Postgres, MySQL và MariaDB.
  • Các bài diễn tập yêu cầu đích lưu trữ đối tượng như S3 hoặc R2; các đích lưu trữ cục bộ không hỗ trợ hoạt động diễn tập tự động.
  • Có thể bật sao lưu bản copy đến đích thứ hai để bảo vệ chống lại lỗi một bucket duy nhất, mặc dù điều này chỉ được xem xét trong tài liệu.

Bối cảnh

Trong nhiều môi trường tự host, quản trị viên dựa vào cron jobs để chạy các script như pg_dump và lưu đầu ra vào đĩa hoặc cloud bucket. Các script này thường thoát với mã trạng thái zero nếu việc ghi tệp thành công, dẫn đến các công cụ giám sát báo cáo trạng thái màu xanh lá cây. Tuy nhiên, điều này không tính đến các vấn đề như tệp bị hỏng, ghi không hoàn chỉnh hoặc xung đột schema có thể ngăn cản việc khôi phục thành công. Nếu không có bài kiểm tra khôi phục định kỳ, các đội ngũ vận hành dưới giả định sai lầm rằng kế hoạch phục hồi thảm họa của họ đang hoạt động.

Levelrail là một nền tảng triển khai tự host được thiết kế để đơn giản hóa việc quản lý hạ tầng mà không cần Kubernetes. Nó bao gồm các công cụ tích hợp sẵn để quản lý cơ sở dữ liệu và sao lưu, nhằm thay thế các script thủ công bằng các workflow tích hợp. Nền tảng này hỗ trợ nhiều nhà cung cấp lưu trữ, bao gồm AWS S3, Cloudflare R2 và các endpoint tùy chỉnh tương thích S3, cho phép người dùng lưu trữ bản sao lưu ngoài trang web để tăng độ bền vững.

Tại sao điều này quan trọng

Đối với các đội ngũ vận hành phần mềm của riêng mình, sự khác biệt giữa một tệp đã sao lưu và một cơ sở dữ liệu có thể khôi phục là rất quan trọng. Một dashboard giám sát màu xanh lá cây có thể tạo ra cảm giác an toàn nguy hiểm, khiến kỹ sư tin rằng họ được bảo vệ khi thực tế không phải vậy. Nếu một thảm họa thực sự xảy ra, chẳng hạn như tấn công ransomware hoặc xóa nhầm, lần đầu tiên một đội ngũ thử khôi phục có thể là lần đầu tiên họ phát hiện ra bản sao lưu không thể sử dụng được. Sự chậm trễ này có thể kéo dài thời gian ngừng hoạt động từ vài phút sang vài ngày, gây tác động lớn đến kinh doanh.

Tự động hóa quy trình xác minh loại bỏ sự phụ thuộc vào trí nhớ và kỷ luật của con người. Các bài kiểm tra khôi phục thủ công thường bị bỏ qua do ràng buộc về thời gian hoặc sợ ảnh hưởng đến hệ thống sản xuất. Bằng cách tích hợp các bài diễn tập khôi phục vào workflow sao lưu, các đội ngũ có thể đảm bảo rằng mỗi bản sao lưu không chỉ là một tệp trên đĩa, mà là một snapshot dữ liệu đã được xác minh. Sự chuyển đổi từ ghi log thụ động sang xác minh chủ động biến các chiến lược sao lưu từ những cử chỉ hy vọng thành những lưới an toàn đáng tin cậy.

Bạn có thể làm gì

  • Lên lịch ngay lập tức một bài kiểm tra khôi phục thủ công sử dụng môi trường phi sản xuất để xác minh các tệp sao lưu hiện tại của bạn.
  • So sánh số lượng dòng và các giá trị tổng hợp quan trọng, chẳng hạn như tổng giá trị tài chính, giữa cơ sở dữ liệu đang hoạt động và cơ sở dữ liệu được khôi phục để đảm bảo tính toàn vẹn của dữ liệu.
  • Cấu hình các bài diễn tập khôi phục tự động nếu nền tảng của bạn hỗ trợ, đảm bảo chúng chạy theo lịch trình định kỳ như hàng tuần.
  • Sử dụng đích lưu trữ đối tượng cho bản sao lưu thay vì lưu trữ đĩa cục bộ để kích hoạt các tính năng nâng cao như diễn tập tự động và dự phòng ngoài trang web.
  • Bật sao lưu bản copy đến đích thứ hai để bảo vệ chống lại lỗi nhà cung cấp lưu trữ hoặc xóa nhầm.
  • Tài liệu hóa quy trình khôi phục của bạn và bao gồm các bước để xác minh tính nhất quán của dữ liệu, không chỉ sự tồn tại của tệp.

Tin khác

Tất cả tin