DevOps y monitorización

Resultados de la optimización de CI: colas más rápidas, mayor mantenimiento y una interrupción de 16 horas

Un post-mortem detallado revela que, si bien los tiempos de espera en las colas de trabajos Node disminuyeron significativamente, las esperas para la compilación de imágenes aumentaron y un error web causó un bloqueo importante en producción.

Ilustración de un rack de servidores mostrando un estado de rendimiento mixto con indicadores verdes y rojos
Ilustración creada para este artículo

Traducido automáticamente del original en inglés.

Un equipo de software publicó un análisis posterior a su informe anterior sobre los costes de integración continua, midiendo el impacto de los recientes cambios en la infraestructura durante una breve ventana en noviembre de 2026. Los datos muestran resultados mixtos: mientras que los tiempos de espera para los trabajos estándar de Node mejoraron drásticamente, las compilaciones de imágenes sufrieron debido a un error de configuración, y un bug separado en la aplicación web causó un retraso de dieciséis horas en producción.

Qué ocurrió

El equipo midió cuatro métricas clave en dos periodos distintos: una línea base de treinta días desde mediados de octubre hasta mediados de noviembre, y una ventana "posterior" más corta del 18 al 20 de noviembre de 2026. Se centraron en los tiempos de cola, las tasas de aciertos de caché, la mano de obra de mantenimiento y la recuperación ante fallos. El objetivo era determinar si trasladar cargas de trabajo a pools de runners dedicados y ajustar las estrategias de caché realmente mejoraba la experiencia del desarrollador y la fiabilidad del sistema.

La mejora más significativa se observó en los tiempos de cola de los trabajos Node. En el percentil 90, los tiempos de espera cayeron de 11,3 minutos a solo 1,7 minutos, incluso cuando la carga permaneció constante. Sin embargo, esta ganancia se vio compensada por una regresión en las compilaciones de imágenes y las pruebas end-to-end. Debido a una opción que nunca se activó, estos trabajos más pesados continuaron esperando detrás de las comprobaciones de pull request, lo que hizo que su tiempo de espera en el percentil 90 subiera de 3,0 minutos a 16,9 minutos. El equipo corrigió esta configuración a última hora del 18 de noviembre, pero el daño a las métricas de ese periodo ya estaba hecho.

Más allá de las métricas de rendimiento, el equipo destacó un incidente grave no relacionado con la infraestructura de runners. Una fusión (merge) del 19 de noviembre introdujo un bug web que rompió la página de inicio autenticada en el entorno de desarrollo. Como las fusiones posteriores solo involucraban cambios de documentación o infraestructura, omitieron las pruebas end-to-end, permitiendo que el estado roto persistiera. Esto activó una puerta de despliegue (deployment gate) que detuvo las promociones a producción durante más de dieciséis horas hasta que se identificó y corrigió la causa raíz.

Detalles clave

  • Tiempos de cola de Node: El tiempo de espera en el percentil 90 cayó de 11,3 minutos a 1,7 minutos en niveles de carga similares.
  • Regresión en compilaciones de imágenes: Los tiempos de espera para las compilaciones de imágenes y las pruebas end-to-end aumentaron de 3,0 a 16,9 minutos porque un nuevo pool de runners no se configuró correctamente hasta el final de la ventana de medición.
  • Fusión a producción: El tiempo mediano para las fusiones orientadas al usuario se mantuvo estable en aproximadamente 50 minutos, aunque las fusiones de baja carga después de la corrección se completaron en menos de 20 minutos.
  • Rendimiento de caché: Las tasas de aciertos de la caché de compilación Docker aumentaron del 70,5% al 77,6%, pero el tamaño de la muestra fue lo suficientemente pequeño como para que el equipo considere este cambio dentro del ruido estadístico.
  • Pico de mantenimiento: Los cambios diarios en la infraestructura de runners y CI saltaron de 1,3 a 7,1 por día, siendo todos los cambios en la segunda ventana generados por agentes automatizados.
  • Bloqueo de producción: Un bug web causó un retraso de 16,3 horas en los despliegues de producción, durante el cual se retuvieron ocho fusiones.

Contexto

Las pipelines de Integración Continua (CI) automatizan el proceso de prueba y compilación de código cada vez que los desarrolladores envían cambios. En entornos autoalojados (self-hosted), los equipos gestionan sus propios "runners", que son servidores que ejecutan estas tareas. El tiempo de cola se refiere a cuánto tiempo espera un trabajo antes de que un runner esté disponible para procesarlo. Reducir esta espera es crítico para la productividad del desarrollador, ya que las largas demoras rompen el flujo y el contexto.

La tasa de aciertos de caché mide con qué frecuencia el sistema puede reutilizar resultados previamente calculados en lugar de reconstruir todo desde cero. Más aciertos de caché significan compilaciones más rápidas y menores costes de cómputo. Sin embargo, optimizar estos sistemas requiere ajustes constantes. Los equipos a menudo dividen las cargas de trabajo en diferentes pools; por ejemplo, separando tareas rápidas de linting de compilaciones de imágenes pesadas, para evitar que un tipo de trabajo bloquee a otro. Esta estrategia solo funciona si la configuración de enrutamiento es correcta.

Por qué importa

Para los equipos que ejecutan su propio software, este caso de estudio ilustra que los cambios en la infraestructura rara vez producen mejoras uniformes. Optimizar una parte de la pipeline, como los trabajos Node, puede resaltar inadvertidamente cuellos de botella en otras áreas, como las compilaciones de imágenes. El hecho de que el tiempo mediano de fusión del equipo no mejorara significativamente sugiere que las dependencias seriales en el carril de despliegue siguen siendo una restricción difícil. Los ingenieros deben mirar más allá de las métricas promedio y examinar las latencias de cola (tail latencies) para comprender la verdadera experiencia del usuario.

El incidente que involucró el bloqueo de dieciséis horas subraya un riesgo operativo crítico: las puertas automatizadas solo son tan efectivas como las pruebas que ejecutan. Cuando los cambios que no son de código omiten suites de pruebas exhaustivas, pueden crear puntos ciegos que permiten que los bugs se filtren en rutas críticas. Además, la dependencia de agentes automatizados para los cambios de infraestructura aumentó el volumen de modificaciones, pero no necesariamente redujo la carga cognitiva humana. Diagnosticar por qué falló una puerta todavía requería una investigación profunda, demostrando que la automatización ayuda a la ejecución, pero no necesariamente al diagnóstico.

Qué puedes hacer

  • Verificar el enrutamiento de runners: Asegúrate de que los nuevos pools de runners estén recibiendo tráfico activamente revisando los logs de los trabajos, en lugar de asumir que los cambios de configuración están activos inmediatamente.
  • Monitorear las colas de espera: Céntrate en los tiempos de espera del percentil 90 y 99 en lugar de los promedios, ya que estos reflejan las peores demoras que frustran a los desarrolladores.
  • Auditar la cobertura de pruebas para omisiones: Revisa qué tipos de commits evitan las pruebas end-to-end y considera añadir pruebas de humo (smoke tests) ligeras a esas rutas para detectar cambios disruptivos temprano.
  • Seguimiento de la velocidad de mantenimiento: Mide la frecuencia de los cambios de infraestructura para identificar si los esfuerzos de optimización están creando un churn excesivo o deuda técnica.
  • Establecer expectativas realistas de caché: Reconoce que los tamaños de muestra pequeños pueden hacer que las mejoras de caché parezcan estadísticamente insignificantes; monitoriza las tendencias durante periodos más largos.
  • Prepárate para falsos positivos: Cuando fallen las puertas de despliegue, investiga posibles bugs de aplicación antes de asumir inestabilidad en las pruebas (flakiness) para evitar perder tiempo en correcciones incorrectas.

Más noticias

Todas las noticias