Les métriques qui comptent (et celles qui ne comptent pas)

L'idée, en une ligne

Une bonne métrique change une décision. Une métrique cosmétique a juste l'air impressionnante. Ce seul test vous dit quels chiffres garder et lesquels laisser tomber.

Le piège classique : la couverture

La couverture est la part de votre code qui s'exécute pendant les tests. Le piège : une ligne peut s'exécuter sans une seule assertion — sans que rien ne vérifie réellement le résultat. Donc elle compte comme « couverte » tout en ne testant rien. Rapportez la couverture comme une tendance à surveiller, jamais comme une cible à atteindre. Dès que c'est une cible, les gens la trichent.

Les métriques qui comptent vraiment

L'ensemble standard de l'industrie est les quatre clés de DORA — les chiffres qui relient l'ingénierie à la vraie livraison :

• Fréquence de déploiement — à quelle fréquence vous livrez.
• Délai de livraison des changements — combien de temps entre écrire le code et sa mise en production.
• Taux d'échec des changements — la part des déploiements qui nécessitent une correction urgente.
• Temps de restauration (MTTR) — à quelle vitesse vous récupérez quand quelque chose casse.

Pour le QA spécifiquement, le chiffre le plus tranchant est les défauts échappés — les bugs attrapés en production contre les bugs attrapés avant. Il répond à la seule question qui compte : est-ce que notre filet attrape réellement les choses ? Associez-le au taux d'instabilité, parce qu'une suite instable empoisonne discrètement la confiance dans chaque autre chiffre que vous rapportez.

Voyez-le à l'œuvre

Rien de tout ça ne demande de maths sophistiquées. Disons que vous avez livré 200 déploiements et 24 ont nécessité un hotfix — c'est un taux d'échec des changements de 24 / 200 = 12 %. Sur une release, 3 bugs ont glissé en production et 147 ont été attrapés avant, donc votre taux de défauts échappés est de 3 / 150 = 2 %. Et si les tests ont échoué par intermittence 9 fois sur 500 exécutions, votre taux d'instabilité est de 9 / 500 = 1,8 % — juste sous la ligne des 2 % où les gens cessent de faire confiance à la suite.

Remarquez ce qui manque dans tout ça : « 92 % de couverture ». Ça n'a aidé à répondre à aucune décision ici.

Avancé — la discipline de dire non

Le geste de niveau lead est la soustraction, pas l'addition. Choisissez les trois métriques qui changeraient vraiment ce que vous ou l'équipe faites ensuite, et refusez de rapporter le reste. Un tableau de bord court sur lequel tout le monde agit bat un long que tout le monde ignore.

Basé sur les « quatre clés » DORA des métriques de livraison logicielle (dora.dev) et les benchmarks State of DevOps