D6 · Measurement and ROI

Ce domaine représente 16 % de l’examen blanc — soit environ 8 items sur 50. Il vérifie si un dirigeant peut prouver la valeur honnêtement : choisir des indicateurs avancés et retardés, établir une référence avant le déploiement (la discipline la plus souvent sautée et la plus coûteuse), mesurer la qualité et le délai de cycle, comprendre le coût complet des tokens et des licences, affronter le problème d’attribution et faire un reporting au conseil sans la surenchère qui finit par détruire la crédibilité. Il boucle la boucle ouverte par le chiffrage des opportunités : le chiffre que vous avez promis là-bas est le chiffre que vous devez désormais mesurer.

Ce qu’il faut savoir

La mesure échoue au début, pas à la fin : si vous n’avez pas établi une référence de l’état actuel avant de déployer, vous ne pouvez jamais prouver l’amélioration — l’établissement d’une référence est donc le premier acte, pas une réflexion après coup. Distinguez les indicateurs avancés (usage actif, délai de cycle, adoption — visibles en semaines) des indicateurs retardés (coût, revenu, rétention — visibles en trimestres). Mesurez la qualité en parallèle de la vitesse, sinon vous optimiserez le débit tout en dégradant les résultats. Comprenez le coût complet : le coût, ce sont les tokens (tarifés à l’usage par million) plus les licences (par utilisateur), et la valeur doit couvrir ce coût avec une marge. Affrontez l’attribution honnêtement — l’IA est rarement la seule variable — et faites un reporting au conseil avec des références, des fourchettes et des contrefactuels plutôt que des chiffres héroïques, car une seule surenchère exposée escompte tout ce qui suit.

Objectifs d’apprentissage

À la fin de cette page, vous devriez être capable de :

1. Établir une référence de l’état actuel avant le déploiement pour que l’amélioration soit prouvable.
2. Choisir des indicateurs avancés et retardés adaptés à chaque initiative et horizon temporel.
3. Mesurer la qualité et le délai de cycle ensemble, pas le débit seul.
4. Modéliser le coût complet à partir des coûts de tokens et de licences par rapport à la valeur réalisée.
5. Traiter le problème d’attribution par une comparaison contrôlée là où c’est possible.
6. Rapporter au conseil de façon crédible, avec des fourchettes, des contrefactuels et sans surenchère.

6.1 Baseline before deployment

L’échec de mesure le plus courant, c’est de déployer d’abord et de demander « est-ce que ça a aidé ? » après — moment où il n’y a plus de photo « avant » propre à comparer. Établissez la référence d’abord.

  RIGHT ORDER                     WRONG ORDER
  ───────────                     ───────────
  1. define the metric            1. deploy the tool
  2. measure the baseline         2. announce success
  3. deploy                       3. try to prove it later
  4. measure the change           4. discover there is no baseline
  5. attribute honestly           5. claim vibes as ROI

6.2 Leading vs lagging indicators

Vous avez besoin des deux, sur des horloges différentes. Les indicateurs avancés vous disent tôt si l’initiative est sur la bonne voie ; les indicateurs retardés confirment le résultat financier plus tard.

Ne rapporter que les indicateurs retardés vous rend aveugle pendant un trimestre ; ne rapporter que les indicateurs avancés vous fait confondre l’activité avec la valeur. Le conseil veut le résultat retardé ; le programme est piloté par les avancés. Un reporting sain montre les indicateurs avancés en tendance maintenant et indique quand le résultat retardé sera mesurable.

6.3 Quality and cycle time together

La vitesse sans qualité est un piège : l’IA peut rendre les gens plus rapides à produire un travail de moins bonne qualité, et un gain de délai de cycle qui augmente le taux d’erreur ou de reprise est une perte nette. Associez toujours un indicateur de débit à un indicateur de qualité.

La discipline de leadership : définissez le garde-fou de qualité avant de célébrer le gain de vitesse, et traitez une amélioration de vitesse qui franchit le garde-fou comme un échec, pas un succès.

6.4 Unit economics: tokens and seats

Un dirigeant doit comprendre les deux inducteurs de coût, car « le pilote était gratuit » sur une période d’essai devient une vraie facture à l’échelle.

  Value per period  >  (seats × seat price)
                     +  (tokens used × token price)
                     +  human review / oversight cost
                     +  run + support overhead

  If not, redesign: right-size the model tier,
  reclaim unused seats, tighten context length,
  or narrow scope — before scaling.

Deux leviers de leadership en découlent directement. D’abord, adapter le palier de modèle à la tâche : acheminer le travail simple à fort volume vers un modèle plus léger et moins cher, et réserver le palier de raisonnement haut de gamme au travail réellement difficile, est souvent le plus grand levier de coût unique. Ensuite, récupérer les licences inutilisées : payer pour des licences provisionnées mais inactives est du pur gaspillage qu’un rapport d’usage met en évidence.

6.5 The attribution problem

L’IA est rarement la seule chose qui a changé. La vente a aussi recruté, le marché a bougé, un processus a été rationalisé en même temps. Surestimer l’attribution est la voie la plus rapide vers la perte de confiance du conseil quand un sceptique tire le fil.

Là où les enjeux le justifient, concevez un A/B ou un holdout dès le départ. Là où vous ne le pouvez pas, énoncez les facteurs de confusion ouvertement et revendiquez une fourchette plutôt que tout le delta. L’honnêteté sur l’attribution est elle-même de la crédibilité : un dirigeant qui dit « l’IA a contribué à environ 30–50 % de cette amélioration, le reste est le changement de processus » est cru ; celui qui revendique 100 % ne l’est pas.

6.6 Reporting to a board without overclaiming

Le rapport au conseil est l’endroit où chaque discipline antérieure est encaissée ou dilapidée. Une seule surenchère exposée escompte chaque chiffre futur que vous présentez.

  CREDIBLE BOARD LINE
  "Support handle time fell 34% (baseline 6.2 → 4.1 min) on the
   60% of tickets in scope. ~30% of the saved time is redeployed
   (cashable), the rest is capacity. Leading indicators are strong;
   the cost-to-serve outcome will be measurable next quarter.
   An A/B against two control regions attributes ~80% of the drop
   to the assist. Net run cost is below benefit with margin."

Voilà à quoi ressemble « rapporter sans surenchère » : spécifique, borné, attribué, et donc digne de confiance.

Cadre de décision

The P-R-O-V-E measurement plan

Attachez ceci à chaque initiative financée avant qu’elle ne se déploie, pour que la mesure soit conçue dès le départ, pas ajoutée après coup.

Erreurs fréquentes

Mise en situation

Scénario. Votre PDG veut dire au conseil que « l’IA a délivré 4 M£ de valeur cette année ». L’affirmation repose sur : une équipe de support dont le temps de traitement « paraît beaucoup plus rapide » depuis le lancement de l’assist ChatGPT (aucune mesure « avant » n’a été prise) ; une région de vente qui a crû de 12 % dans la même période où elle a adopté la rédaction de propositions par IA (et qui a aussi recruté deux commerciaux seniors et est entrée sur un marché en hausse) ; et un chiffre « 4 M£ » à l’échelle de l’entreprise produit en multipliant les minutes économisées estimées de chaque utilisateur par son taux chargé — incluant 40 % de licences qui ne montrent aucun usage actif. Le directeur financier est sceptique et le comité d’audit posera des questions.

Trace de raisonnement expert.

1. Refuser le chiffre héroïque composite. « 4 M£ » est exactement l’affirmation qui s’effondre sous une seule question tranchante, et son effondrement discréditerait tout le programme d’IA. Mon travail est de rendre le chiffre plus petit et défendable plutôt que grand et fragile.

2. Corriger l’affirmation du support — ou la rétrograder. « Paraît plus rapide » sans référence est non prouvable. Je vérifie si les journaux de temps de traitement précèdent le lancement ; si une référence peut être reconstruite, je rapporte le delta mesuré sur les tickets dans le périmètre ; sinon, je le rapporte comme une tendance d’indicateur avancé à mesurer correctement le trimestre prochain, pas comme de la valeur encaissée. Pas de référence, pas d’affirmation de ROI.

3. Affronter l’attribution de la vente. Une croissance régionale de 12 % coïncidant avec l’adoption de l’IA n’est pas la preuve que l’IA l’a causée — deux recrues seniors et un marché en hausse sont de gros facteurs de confusion. Le geste honnête est une comparaison de cohortes ou un holdout par rapport à des régions similaires ; à défaut, je ne revendique qu’une fourchette de la hausse et j’énonce les facteurs de confusion. Revendiquer les 12 % complets serait la surenchère que le comité d’audit est fait pour détecter.

4. Retirer l’inflation par les licences. Multiplier les minutes estimées par le taux chargé sur toutes les licences — dont 40 % inactives — est un double non-sens : cela compte la capacité comme du cash et compte les non-utilisateurs comme bénéficiaires. Je retire entièrement les licences inactives (et je signale la dépense de licences gaspillée comme un coût à récupérer, selon D4), et je sépare le bénéfice restant en encaissable vs capacité.

5. Reconstruire le rapport de façon crédible. Présenter le delta de support mesuré (ou une tendance étiquetée), une contribution de vente en fourchette et attribuée, et un chiffre de productivité défendable net des licences inactives et séparé encaissable/capacité — avec le coût d’exploitation (tokens + licences + supervision) soustrait. Le total sera bien en dessous de 4 M£ et parfaitement défendable.

6. Donner au conseil la méthode, pas seulement le chiffre. Références, fourchettes, contrefactuels et l’action de récupération des licences signalent un dirigeant qui maîtrise — ce qui vaut plus qu’un grand chiffre fragile.

Résultat prêt pour le conseil : le composite de 4 M£ est refusé ; l’affirmation du support est référencée ou rétrogradée en tendance ; la hausse des ventes est attribuée avec un holdout/cohorte et rapportée en fourchette ; les licences inactives sont retirées et signalées pour récupération ; le chiffre final est plus petit, attribué, net de coût et digne de confiance — et la crédibilité du programme survit au comité d’audit.

Pièges de l’évaluation

Questions d’entraînement

Chaque item indique combien de réponses sélectionner. Engagez-vous avant de révéler.

À retenir

• Établissez une référence avant le déploiement ; sans photo « avant », l’amélioration est non prouvable et le conseil escompte l’affirmation.
• Rapportez les indicateurs avancés (usage, délai de cycle, qualité — semaines) et les indicateurs retardés (coût, revenu, marge — trimestres) ensemble.
• Associez la vitesse à la qualité ; un gain de délai de cycle qui franchit le garde-fou de qualité est une perte nette.
• Modélisez le coût complet — tokens plus licences plus supervision — et adaptez le palier de modèle ; récupérez les licences inactives.
• Affrontez l’attribution honnêtement par des comparaisons A/B ou holdout, ou énoncez les facteurs de confusion et revendiquez une fourchette.
• Rapportez sans surenchère : références, fourchettes, contrefactuels, encaissable-vs-capacité — une seule surenchère exposée discrédite tout.
• Attachez P-R-O-V-E à chaque initiative avant qu’elle ne se déploie : pre-baseline, right indicators, own the economics, verify attribution, evidence to the board.