Cómo Close redujo los tiempos de prueba de CI de 12 minutos a menos de tres
Close redujo el tiempo de ejecución de su suite de 58.000 pruebas a menos de tres minutos al reemplazar la división estática de pruebas con un orquestador dinámico y usar instancias spot.
Traducido automáticamente del original en inglés.
El equipo de ingeniería de Close ha reducido el tiempo de ejecución de sus 58.000 pruebas de integración de aproximadamente doce minutos a menos de tres. Este salto en el rendimiento se logró al reemplazar la distribución estática de pruebas por un modelo de orquestación dinámica y aprovechar las instancias spot de la nube para los nodos de trabajo.
Qué sucedió
Durante más de una década, Close dependió de la división determinista de pruebas para gestionar su creciente suite de pruebas. El equipo utilizaba plugins como pytest-split para dividir las pruebas entre múltiples ejecutores paralelos basándose en datos históricos de tiempos. Si bien este enfoque mantuvo inicialmente los tiempos de ejecución manejables, eventualmente alcanzó un techo de rendimiento. A medida que la aplicación crecía, los pasos de configuración de costo fijo, como extraer imágenes de contenedores, iniciar almacenes de datos y recopilar la suite completa de pruebas, comenzaron a dominar el tiempo total de ejecución. Incluso con diecisiete ejecutores paralelos, el tiempo real (wall-clock) se estabilizó alrededor de los doce minutos porque cada ejecutor tenía que realizar tareas pesadas de configuración independientemente de cuántas pruebas ejecutara realmente.
Para superar esta barrera, el equipo adoptó una arquitectura inspirada en herramientas como currents.dev. En lugar de asignar previamente las pruebas a ejecutores específicos, introdujeron un orquestador central. Este orquestador recopila los archivos de prueba rápidamente sin cargar todo el contexto de la aplicación. Luego distribuye dinámicamente lotes individuales de pruebas a un gran grupo de trabajadores. Este cambio permitió que las tareas pesadas de configuración escalan de manera más eficiente, ya que los trabajadores solo recopilan y ejecutan las pruebas específicas asignadas a ellos. El equipo optimizó aún más los costos y la capacidad utilizando cincuenta y cuatro trabajadores de instancias spot junto con dos ejecutores bajo demanda, logrando un paralelismo masivo sin gastos prohibitivos.
Detalles clave
- La suite de pruebas contiene casi 58.000 pruebas de integración, la mayoría de las cuales interactúan con almacenes de datos reales.
- Los métodos anteriores de división estática resultaron en un tiempo de ejecución de doce minutos debido a sobrecargas fijas de configuración.
- El nuevo orquestador dinámico recopila los archivos de prueba en paralelo con el inicio de los trabajadores, reduciendo el tiempo inactivo.
- Los trabajadores utilizan instancias spot para un escalado rentable, reservando los ejecutores bajo demanda para rutas críticas.
- La recopilación de pruebas se optimiza evitando el descenso profundo en los archivos y generando los archivos descubiertos en formato JSON.
- Los lotes se ordenan en orden descendente según el tiempo estimado de ejecución para mejorar el equilibrio de carga entre los trabajadores.
Antecedentes
Las pipelines de Integración Continua (CI) a menudo luchan contra el problema del "costo fijo". En configuraciones tradicionales, cada ejecutor paralelo debe inicializar todo el entorno de la aplicación, incluidas bases de datos y dependencias, antes de ejecutar su subconjunto de pruebas. A medida que aumenta el número de pruebas, los equipos agregan más ejecutores para mantener la velocidad. Sin embargo, si el tiempo de configuración permanece constante por ejecutor, agregar más máquinas produce rendimientos decrecientes. El tiempo total queda limitado por el ejecutor más lento y la fase de configuración inicial, en lugar de la ejecución real de las pruebas.
La orquestación dinámica resuelve esto desacoplando la recopilación de pruebas de la ejecución. Un coordinador ligero identifica qué necesita ser probado y alimenta el trabajo a los trabajadores disponibles bajo demanda. Esto permite que los trabajadores inicien y comiencen a probar antes, ya que no necesitan analizar todo el código base por adelantado. También habilita una mejor utilización de recursos, ya que los trabajadores inactivos pueden tomar las tareas restantes mientras otros terminan, previniendo el efecto "straggler" donde un ejecutor lento retrasa toda la pipeline.
Por qué importa
Para los equipos que desarrollan su propio software, la velocidad de CI impacta directamente en la productividad del desarrollador y la frecuencia de despliegue. Los bucles de retroalimentación largos desalientan los commits frecuentes y dificultan identificar la causa de los fallos. Al reducir el tiempo de ejecución de pruebas de doce minutos a menos de tres, Close permite a los desarrolladores iterar más rápido y fusionar código con mayor confianza. Esta eficiencia es crucial para mantener alta velocidad en empresas medianas donde los recursos de ingeniería son finitos.
Además, el cambio a instancias spot demuestra cómo los cambios arquitectónicos pueden reducir los costos de infraestructura mientras aumentan la capacidad. Las instancias spot son significativamente más baratas que los servidores bajo demanda, pero pueden terminarse inesperadamente. Al diseñar el sistema para manejar la pérdida de trabajadores con gracia, los equipos pueden aprovechar estos ahorros sin sacrificar la confiabilidad. Este enfoque es particularmente relevante para entornos autoalojados donde las restricciones presupuestarias a menudo limitan la capacidad de simplemente añadir más hardware para resolver problemas de rendimiento.
Qué puedes hacer
- Audita tu pipeline de CI para identificar pasos de costo fijo que no escalan con la paralelización.
- Considera implementar un distribuidor dinámico de pruebas si la división estática ya no reduce el tiempo de ejecución.
- Optimiza la recopilación de pruebas evitando cargas completas de la aplicación durante la fase de descubrimiento.
- Ordena los lotes de pruebas por duración estimada para asegurar una distribución uniforme de la carga entre los ejecutores.
- Usa instancias spot para trabajadores no críticos para aumentar el paralelismo dentro de los límites presupuestarios.
- Instrumenta tu pipeline de CI con herramientas de trazado para medir el verdadero tiempo real de extremo a extremo.



