DevOps et supervision

Résultats de l'optimisation de la CI : files d’attente plus rapides, maintenance accrue et une panne de 16 heures

Un post-mortem détaillé révèle que si les temps d’attente dans la file des jobs Node ont considérablement diminué, les délais de construction des images ont augmenté et un bug web a provoqué un blocage majeur en production.

Illustration d'un rack de serveurs montrant un statut de performance mixte avec des indicateurs verts et rouges
Illustration créée pour cet article

Traduit automatiquement depuis l’original en anglais.

Une équipe logicielle a publié une analyse de suivi à son précédent rapport sur les coûts de l'intégration continue (CI), mesurant l'impact des récents changements d'infrastructure sur une courte période en novembre 2026. Les données montrent des résultats mitigés : si les temps d'attente pour les jobs Node standards se sont nettement améliorés, les constructions d'images ont souffert d'une erreur de configuration, et un bug distinct dans l'application web a causé un retard de seize heures en production.

Ce qui s'est passé

L'équipe a mesuré quatre métriques clés sur deux périodes distinctes : une base de référence de trente jours allant de la mi-octobre à la mi-novembre, et une fenêtre « après » plus courte du 18 au 20 novembre 2026. Ils se sont concentrés sur les temps d'attente dans les files d'attente, les taux de réussite du cache, la main-d'œuvre de maintenance et la récupération après échec. L'objectif était de déterminer si le déplacement des charges de travail vers des pools de runners dédiés et l'ajustement des stratégies de cache amélioraient réellement l'expérience développeur et la fiabilité du système.

L'amélioration la plus significative a concerné les temps d'attente dans la file des jobs Node. Au 90e percentile, les temps d'attente sont passés de 11,3 minutes à seulement 1,7 minute, alors même que la charge restait constante. Cependant, ce gain a été compensé par une régression dans les constructions d'images et les tests de bout en bout. En raison d'un paramètre qui n'a jamais été activé, ces tâches plus lourdes ont continué à attendre derrière les vérifications des pull requests, faisant passer leur temps d'attente au 90e percentile de 3,0 minutes à 16,9 minutes. L'équipe a corrigé cette configuration tardivement le 18 novembre, mais les dégâts sur les métriques de cette période étaient déjà faits.

Au-delà des métriques de performance, l'équipe a souligné un incident grave sans lien avec l'infrastructure des runners. Une fusion effectuée le 19 novembre a introduit un bug web qui a cassé la page d'accueil connectée dans l'environnement de développement. Comme les fusions suivantes ne concernaient que la documentation ou des changements d'infrastructure, elles ont sauté les tests de bout en bout, laissant persister l'état défaillant. Cela a déclenché un portail de déploiement qui a bloqué les promotions en production pendant plus de seize heures, jusqu'à ce que la cause racine soit identifiée et corrigée.

Détails clés

  • Temps d'attente des files Node : Le temps d'attente au 90e percentile est passé de 11,3 minutes à 1,7 minute à des niveaux de charge similaires.
  • Régression des constructions d'images : Les temps d'attente pour les constructions d'images et les tests de bout en bout sont passés de 3,0 à 16,9 minutes car un nouveau pool de runners n'a pas été correctement configuré avant la fin de la fenêtre de mesure.
  • Fusion en production : Le temps médian pour les fusions destinées aux utilisateurs est resté stable autour de 50 minutes, bien que les fusions à faible charge après la correction aient été achevées en moins de 20 minutes.
  • Performance du cache : Le taux de réussite du cache de build Docker est passé de 70,5 % à 77,6 %, mais la taille de l'échantillon était suffisamment petite pour que l'équipe considère ce changement comme étant dans la marge d'erreur statistique.
  • Pic de maintenance : Les modifications quotidiennes apportées aux runners et à l'infrastructure CI sont passées de 1,3 à 7,1 par jour, toutes les modifications de la seconde fenêtre ayant été générées par des agents automatisés.
  • Blocage en production : Un bug web a causé un retard de 16,3 heures dans les déploiements en production, durant lequel huit fusions ont été retenues.

Contexte

Les pipelines d'Intégration Continue (CI) automatisent le processus de test et de compilation du code chaque fois que les développeurs soumettent des modifications. Dans les environnements auto-hébergés, les équipes gèrent leurs propres « runners », qui sont des serveurs exécutant ces tâches. Le temps d'attente dans la file fait référence à la durée pendant laquelle un job attend qu'un runner devienne disponible pour le traiter. Réduire cette attente est crucial pour la productivité des développeurs, car les longs retards brisent le flux de travail et le contexte.

Le taux de réussite du cache mesure la fréquence à laquelle le système peut réutiliser des résultats précédemment calculés au lieu de tout reconstruire depuis zéro. Des réussites de cache plus élevées signifient des builds plus rapides et des coûts de calcul inférieurs. Cependant, l'optimisation de ces systèmes nécessite un réglage constant. Les équipes divisent souvent les charges de travail en différents pools — par exemple, en séparant les tâches rapides de linting des constructions d'images lourdes — pour empêcher qu'un type de job n'en bloque un autre. Cette stratégie ne fonctionne que si la configuration du routage est correcte.

Pourquoi c'est important

Pour les équipes qui hébergent leur propre logiciel, cette étude de cas illustre que les changements d'infrastructure produisent rarement des améliorations uniformes. Optimiser une partie du pipeline, comme les jobs Node, peut involontairement mettre en évidence des goulets d'étranglement ailleurs, comme les constructions d'images. Le fait que le temps médian de fusion de l'équipe ne se soit pas significativement amélioré suggère que les dépendances séquentielles dans la voie de déploiement restent une contrainte difficile. Les ingénieurs doivent regarder au-delà des métriques moyennes et examiner les latences de queue (tail latencies) pour comprendre la véritable expérience utilisateur.

L'incident impliquant le blocage de seize heures souligne un risque opérationnel critique : les portails automatisés ne sont efficaces que dans la mesure où les tests qu'ils exécutent le sont aussi. Lorsque les changements non liés au code sautent les suites de tests complètes, ils peuvent créer des angles morts permettant aux bugs de s'infiltrer dans les chemins critiques. De plus, la dépendance aux agents automatisés pour les changements d'infrastructure a augmenté le volume de modifications, mais n'a pas nécessairement réduit la charge cognitive humaine. Diagnostiquer pourquoi un portail a échoué nécessitait encore une enquête approfondie, prouvant que l'automatisation aide à l'exécution mais pas forcément au diagnostic.

Ce que vous pouvez faire

  • Vérifier le routage des runners : Assurez-vous que les nouveaux pools de runners reçoivent activement du trafic en consultant les logs des jobs, plutôt que de supposer que les changements de configuration sont effectifs immédiatement.
  • Surveiller les queues des files d'attente : Concentrez-vous sur les temps d'attente aux 90e et 99e percentiles plutôt que sur les moyennes, car ceux-ci reflètent les pires retards qui frustrent les développeurs.
  • Auditer la couverture de test pour les sauts : Examinez quels types de commits contournent les tests de bout en bout et envisagez d'ajouter des tests de fumée légers sur ces chemins pour détecter les changements cassants tôt.
  • Suivre la vélocité de maintenance : Mesurez la fréquence des changements d'infrastructure pour identifier si les efforts d'optimisation créent un turnover excessif ou une dette technique.
  • Définir des attentes réalistes pour le cache : Reconnaissez que les petites tailles d'échantillon peuvent rendre les améliorations de cache statistiquement insignifiantes ; surveillez les tendances sur des périodes plus longues.
  • Se préparer aux faux positifs : Lorsque les portails de déploiement échouent, investigatez les bugs potentiels de l'application avant de supposer une instabilité des tests, afin d'éviter de perdre du temps sur des corrections incorrectes.

Autres actualités

Toutes les actualités