Cách Close giảm thời gian chạy test CI từ 12 phút xuống dưới 3 phút
Close đã giảm thời gian chạy bộ test gồm 58.000 trường hợp xuống dưới ba phút bằng cách thay thế việc chia nhỏ test tĩnh bằng một trình điều phối động và các phiên bản spot instance.
Bài được dịch tự động từ bản gốc tiếng Anh.
Đội ngũ kỹ thuật tại Close đã giảm thời gian chạy của 58.000 bài kiểm tra tích hợp từ khoảng mười hai phút xuống còn chưa đầy ba phút. Bước nhảy vọt về hiệu suất này đạt được nhờ thay thế phương pháp phân bổ test tĩnh bằng mô hình điều phối động và tận dụng các phiên bản cloud spot instance cho các node worker.
Chuyện gì đã xảy ra
Trong hơn một thập kỷ, Close phụ thuộc vào việc chia nhỏ test xác định (deterministic test splitting) để quản lý bộ test ngày càng mở rộng. Đội ngũ sử dụng các plugin như pytest-split để chia các bài test trên nhiều runner song song dựa trên dữ liệu thời gian lịch sử. Mặc dù phương pháp này ban đầu giúp giữ thời gian chạy ở mức có thể quản lý được, nhưng cuối cùng nó đã chạm đến trần hiệu suất. Khi ứng dụng phát triển, các bước thiết lập chi phí cố định như tải image container, khởi động datastore và thu thập toàn bộ bộ test bắt đầu chiếm ưu thế trong tổng thời gian chạy. Ngay cả với mười bảy runner song song, thời gian thực tế (wall-clock time) vẫn ổn định quanh mức mười hai phút vì mỗi runner đều phải thực hiện công việc thiết lập nặng nề bất kể số lượng bài test mà chúng thực sự chạy là bao nhiêu.
Để phá vỡ rào cản này, đội ngũ đã áp dụng kiến trúc lấy cảm hứng từ các công cụ như currents.dev. Thay vì gán trước các bài test cho những runner cụ thể, họ giới thiệu một trình điều phối trung tâm. Trình điều phối này thu thập các file test nhanh chóng mà không cần nạp toàn bộ ngữ cảnh ứng dụng. Sau đó, nó phân phối động các lô test riêng lẻ cho một pool lớn các worker. Sự chuyển đổi này cho phép các tác vụ thiết lập nặng nề mở rộng quy mô hiệu quả hơn, vì các worker chỉ thu thập và chạy những bài test cụ thể được giao cho chúng. Đội ngũ cũng tối ưu hóa chi phí và năng lực bằng cách sử dụng năm mươi bốn worker dùng spot instance cùng với hai runner on-demand, đạt được mức độ song song hóa khổng lồ mà không gây ra chi phí quá cao.
Chi tiết chính
- Bộ test chứa gần 58.000 bài kiểm tra tích hợp, phần lớn trong số đó tương tác với các datastore thực tế.
- Các phương pháp chia nhỏ tĩnh trước đây dẫn đến thời gian chạy mười hai phút do chi phí thiết lập cố định.
- Trình điều phối động mới thu thập các file test song song với quá trình khởi động worker, giúp giảm thời gian chờ.
- Các worker sử dụng spot instance để mở rộng quy mô hiệu quả về chi phí, trong khi các runner on-demand được dành cho các đường dẫn quan trọng.
- Việc thu thập test được tối ưu hóa bằng cách bỏ qua việc duyệt sâu vào thư mục và xuất các file đã tìm thấy dưới dạng JSON.
- Các lô test được sắp xếp theo thứ tự giảm dần dựa trên thời gian chạy ước tính để cải thiện cân bằng tải giữa các worker.
Bối cảnh
Các pipeline Continuous Integration (CI) thường gặp khó khăn với vấn đề "chi phí cố định". Trong các thiết lập truyền thống, mọi runner song song đều phải khởi tạo toàn bộ môi trường ứng dụng, bao gồm cơ sở dữ liệu và các dependency, trước khi chạy tập con các bài test của mình. Khi số lượng bài test tăng lên, các đội ngũ thêm nhiều runner hơn để duy trì tốc độ. Tuy nhiên, nếu thời gian thiết lập vẫn không đổi cho mỗi runner, việc thêm máy móc sẽ mang lại lợi ích giảm dần. Tổng thời gian trở nên bị giới hạn bởi runner chậm nhất và giai đoạn thiết lập ban đầu thay vì bởi việc thực thi test thực tế.
Điều phối động giải quyết vấn đề này bằng cách tách biệt việc thu thập test khỏi việc thực thi. Một coordinator nhẹ nhàng xác định những gì cần được kiểm tra và cung cấp công việc cho các worker khả dụng theo yêu cầu. Điều này cho phép các worker khởi động và bắt đầu kiểm tra sớm hơn, vì chúng không cần phân tích toàn bộ codebase ngay từ đầu. Nó cũng cho phép sử dụng tài nguyên tốt hơn, vì các worker nhàn rỗi có thể nhận các tác vụ còn lại trong khi những worker khác hoàn thành, ngăn chặn hiệu ứng "straggler" nơi một runner chậm làm tắc nghẽn toàn bộ pipeline.
Tại sao điều này quan trọng
Đối với các đội ngũ vận hành phần mềm nội bộ, tốc độ CI ảnh hưởng trực tiếp đến năng suất lập trình viên và tần suất triển khai. Vòng phản hồi dài làm nản lòng việc commit thường xuyên và khiến việc xác định nguyên nhân lỗi trở nên khó khăn hơn. Bằng cách giảm thời gian chạy test từ mười hai phút xuống dưới ba phút, Close cho phép các lập trình viên lặp lại nhanh hơn và merge code với sự tự tin cao hơn. Hiệu quả này rất quan trọng để duy trì tốc độ phát triển cao ở các công ty quy mô vừa, nơi nguồn lực kỹ thuật là hữu hạn.
Ngoài ra, việc chuyển sang sử dụng spot instance minh họa cách các thay đổi kiến trúc có thể giảm chi phí hạ tầng trong khi tăng năng lực. Spot instance rẻ hơn đáng kể so với server on-demand nhưng có thể bị chấm dứt đột ngột. Bằng cách thiết kế hệ thống để xử lý mất mát worker một cách duyên dáng, các đội ngũ có thể tận dụng khoản tiết kiệm này mà không hy sinh độ tin cậy. Cách tiếp cận này đặc biệt liên quan đến các môi trường self-hosted, nơi ràng buộc ngân sách thường hạn chế khả năng đơn giản là ném thêm phần cứng vào các vấn đề hiệu suất.
Bạn có thể làm gì
- Kiểm toán pipeline CI của bạn để xác định các bước chi phí cố định không mở rộng quy mô cùng với việc song song hóa.
- Cân nhắc triển khai một trình phân phối test động nếu việc chia nhỏ tĩnh không còn giảm thời gian chạy nữa.
- Tối ưu hóa việc thu thập test bằng cách tránh nạp toàn bộ ứng dụng trong giai đoạn khám phá (discovery).
- Sắp xếp các lô test theo thời lượng ước tính để đảm bảo phân bổ khối lượng công việc đồng đều giữa các runner.
- Sử dụng spot instance cho các worker không quan trọng để tăng mức độ song song hóa trong phạm vi ngân sách.
- Trang bị công cụ tracing cho pipeline CI của bạn để đo lường thời gian thực tế end-to-end.



