Bibliothèque de KPI et de métriques

Voici un catalogue de travail pour la mesure que teste le Domaine 2 (tâches 2.2.1–2.2.4) : des KPI par fonction métier, bénéfices tangibles versus intangibles, indicateurs avancés versus retardés, métriques d’adoption et de santé, un arbre de KPI, et comment bâtir une référence quand il n’en existe aucune. C’est une préparation indépendante. L’examen bêta AIB-C01 ne vous demande pas d’instrumenter quoi que ce soit ; il vous demande de choisir la bonne métrique, de définir une référence défendable, et de repérer une métrique qui mesure l’activité au lieu de la valeur. Chaque formule ici reste à ce niveau de décision.

Comment les métriques s’articulent

   BUSINESS OBJECTIVE  (e.g. cut cost-to-serve 15%)
          │
          ▼
   VALUE KPI (lagging)  ── cost per contact, ROI, revenue
          │
          ▼
   OPERATIONAL KPI ──── handle time, containment, rework rate
          │
          ▼
   ADOPTION / HEALTH (leading) ── activation, weekly active use,
          │                        task completion, quality score
          ▼
   INSTRUMENTED SIGNAL ── events you can actually count

Lisez-le de haut en bas pour concevoir, de bas en haut pour expliquer. Les dirigeants s’intéressent à l’objectif ; les indicateurs avancés près du bas sont ce qui vous dit, au bout de trois semaines, si la valeur retardée du haut arrivera un jour.

1. KPI par fonction métier

Chaque KPI ci-dessous porte une définition, une formule, d’où vient la référence, comment fixer une cible, et la façon dont il se fait détourner. Choisissez le plus petit ensemble qui se rattache à l’objectif ; plus de métriques n’est pas plus d’intelligence.

Chaque tableau partage une règle : la source de la référence est un chiffre d’avant, et chaque KPI a un risque de détournement. Un KPI sans colonne de risque de détournement est un KPI auquel vous n’avez pas assez réfléchi.

2. Bénéfices tangibles vs intangibles

La tâche 2.2.1 sépare explicitement les bénéfices. Les bénéfices tangibles se convertissent directement en monnaie ; les intangibles non, c’est pourquoi ils sont écartés des dossiers métier — et pourquoi l’erreur est de ne pas les rendre défendables.

La technique pour les intangibles est d’attacher un proxy mesurable et, si possible, un pont monétaire prudent. « Les employés sont plus heureux » n’est pas défendable ; « l’eNPS a augmenté de 8 points et l’attrition regrettée a baissé de 3 points, valant environ un remplacement évité par trimestre à £X » l’est. Marquez toujours de tels chiffres comme indicatifs.

3. Indicateurs avancés vs retardés

La tâche 2.2.4 vous demande d’identifier les indicateurs avancés qui prédisent le succès. Les indicateurs retardés confirment la valeur après coup ; les indicateurs avancés vous disent tôt si elle arrive. Appariez-les.

Si un indicateur avancé est plat au bout de trois semaines, la valeur retardée n’arrivera pas — c’est tout l’intérêt de le surveiller. Un programme qui ne rapporte que des métriques retardées l’apprend trop tard.

4. Métriques d’adoption et de santé

La valeur nécessite l’usage. Ces métriques vous disent si l’outil est réellement bien adopté, et ce sont les indicateurs avancés que la plupart des programmes oublient d’instrumenter.

Le containment et l’escalade sont les deux faces d’une même pièce : lisez-les ensemble, car un taux de containment élevé avec un taux de reprise en hausse signifie que vous piégez les utilisateurs au lieu de les aider.

5. Un arbre de KPI travaillé

Partez de l’objectif et décomposez jusqu’à atteindre quelque chose que vous pouvez compter. C’est l’artefact qui relie un objectif de direction à un signal instrumenté, et c’est la forme que l’examen récompense.

OBJECTIVE:  Reduce cost-to-serve in support by 15% in 12 months
   │
   ├── Value KPI:  Cost per contact  (lagging)
   │      │
   │      ├── Driver:  Contacts handled without a human  → Containment rate
   │      ├── Driver:  Time per human-handled contact    → AHT
   │      └── Guardrail: Customer satisfaction            → CSAT (must not fall)
   │
   └── Leading indicators (weeks 1–6):
          ├── Weekly active agents using the assistant
          ├── Task-completion rate on real tickets
          └── Escalation rate trend  (falling = tool coping)

Arithmétique travaillée : 500 000 contacts/an à £6.00 chacun = £3.0m. Un taux de containment de 30 % à £0.40 par contact contenu, avec les 70 % restants à un coût réduit ajusté à l’AHT de £5.40, donne 500 000 × (0,30 × 0,40 + 0,70 × 5,40) = 500 000 × (0,12 + 3,78) = £1.95m — une réduction de coût de 35 % si le CSAT tient. La métrique garde-fou est la raison pour laquelle l’arbre inclut le CSAT : un gain de coût qui fait chuter la satisfaction n’est pas un gain.

6. Références : en construire une quand il n’en existe aucune

La tâche 2.2.2 exige une référence avant la mise en œuvre, mais le blocage courant dans la réalité est qu’aucune référence n’a jamais été enregistrée. Il y a quatre façons défendables d’en bâtir une ; choisissez selon la disponibilité des données et le coût.

La réponse préférée de l’examen à « nous n’avons pas de référence » est en construire une maintenant par la méthode crédible la moins chère — jamais « mesurer après le lancement et supposer que l’écart est l’IA ». Un groupe de contrôle ou un déploiement par étapes est le plus fort car il isole l’effet de l’IA du changement de fond.

7. Des métriques qui font bonne figure et ne signifient rien

Les vanity metrics donnent l’impression de progrès et ne prédisent rien. Les reconnaître est une compétence directement testée à l’examen.

Le signe d’une vanity metric : elle peut monter tandis que le résultat métier est plat ou en baisse. Si une métrique peut augmenter tandis que le coût par contact et le CSAT ne bougent pas, elle mesure l’activité, pas la valeur.

Points clés

• Choisissez le plus petit ensemble de KPI qui se rattache à l’objectif ; chaque KPI a besoin d’une formule, d’une référence d’avant et d’un risque de détournement reconnu.
• Rendez les bénéfices intangibles défendables avec un proxy mesurable et un pont monétaire prudent et clairement étiqueté — ne les écartez pas.
• Appariez un indicateur avancé (adoption, achèvement des tâches) à chaque KPI de valeur retardé pour apprendre tôt, pas tard.
• Lisez le containment face à l’escalade et à la reprise ; un taux de containment élevé avec une reprise en hausse signifie que vous piégez les utilisateurs.
• Bâtissez l’arbre de KPI de l’objectif au signal instrumenté, et gardez une métrique garde-fou (comme le CSAT) pour qu’un gain de coût ne détruise pas discrètement la qualité.
• Sans référence, construisez-en une maintenant — time-and-motion, proxy historique, groupe de contrôle ou déploiement par étapes — ne mesurez jamais après le lancement en supposant que le delta est l’IA.
• Une métrique qui peut monter tandis que le résultat métier est plat est une vanity metric ; remplacez-la.