CCAR-P – Examen blanc

Toutes les questions (mode révision)

Les options sont présentées une par ligne. La réponse et l’explication restent masquées jusqu’à ce que vous cliquiez sur Afficher la réponse. Utilisez le mode interactif ci-dessus pour une session chronométrée.

1. Q1D1 · Conception de solution et architectureSélectionnez une réponse

   Une entreprise de logistique veut automatiser les réponses de suivi d’expédition : 500/heure, une seule API interne, p95 sous 4 s, plafond de coût strict. Quel pattern l’architecte doit-il proposer ?

   • A. Un coordinateur avec cinq subagents spécialisés.
   • B. Un LLM augmenté / workflow simple (classer → recherche de statut → réponse structurée), car les étapes sont connues et le SLA et le coût sont contraignants.
   • C. Une boucle agentique ouverte avec un large catalogue d’outils.
   • D. Un fine-tuning avant de construire tout pipeline.
   Afficher la réponse

   Réponse : B.

   Des étapes connues assorties d’une latence/coût contraignants privilégient le pattern le plus simple. Le multi-agent (A) et les boucles agentiques larges (C) sur-conçoivent ; le fine-tuning (D) est prématuré.

2. Q2D1 · Conception de solution et architectureSélectionnez une réponse

   Une banque allemande exige que toutes les données restent dans l’UE et fonctionne déjà sur AWS. Quel placement est le BEST ?

   • A. L’API Anthropic directe.
   • B. Amazon Bedrock dans une région UE, héritant de l’IAM AWS existant et de la résidence des données.
   • C. Google Vertex AI.
   • D. Le modèle le plus récent, quel qu’il soit.
   Afficher la réponse

   Réponse : B.

   La résidence UE et une empreinte AWS existante orientent vers Bedrock UE. L’API directe (A) présente un risque de résidence ; Vertex (C) ignore l’investissement AWS ; la nouveauté (D) ne peut pas primer sur la résidence.

3. Q3D1 · Conception de solution et architectureSélectionnez une réponse

   Une boucle agentique s’exécute parfois indéfiniment. Quel est le contrôle principal CORRECT accompagné de son garde-fou ?

   • A. Analyser le texte du modèle pour y trouver le mot « finished ».
   • B. Terminer sur stop_reason (end_turn / plus de tool_use), avec un plafond d’itérations uniquement comme garde-fou de sécurité.
   • C. Un plafond fixe de 5 itérations comme seul contrôle.
   • D. Baisser la température jusqu’à l’arrêt.
   Afficher la réponse

   Réponse : B.

   Le flux de contrôle s’appuie sur stop_reason ; un plafond est un garde-fou (« filet de sécurité »), pas le mécanisme. L’analyse de texte (A) est fragile ; un plafond seul (C) est un anti-pattern ; la température (D) ne régit pas la terminaison.

4. Q4D1 · Conception de solution et architectureSélectionnez deux réponses

   La charge de pointe est de 25 req/s à ~10k tokens d’entrée chacune, et l’équipe atteint les limites ITPM. Quelles sont les DEUX approches saines ?

   • A. Déplacer le travail tolérant à la latence vers la Message Batches API et ajouter un backoff avec jitter respectant retry-after.
   • B. Réessayer immédiatement dans une boucle serrée.
   • C. Demander un palier supérieur et/ou router le débordement vers un second modèle.
   • D. Retourner des résultats vides comme un succès sur 429.
   • E. Tout envoyer à Opus 5.
   Afficher la réponse

   Réponse : A et C.

   Le batch pour le travail tolérant assorti d’un backoff, et la montée de palier / le routage de débordement, sont les bons leviers de capacité. Le réessai en boucle serrée (B) aggrave la situation ; avaler les 429 (D) est une défaillance silencieuse ; Opus pour tout (E) augmente le coût sans corriger les limites.

5. Q5D1 · Conception de solution et architectureSélectionnez une réponse

   Qu’est-ce qui rend une architecture de référence de bout en bout complète au niveau Professional ?

   • A. Les étapes d’entrée et de traitement uniquement.
   • B. Entrée → traitement → sortie → une boucle de rétroaction qui réinjecte les signaux de production dans les prompts/modèles/retrieval.
   • C. Un seul appel de modèle.
   • D. Uniquement un load balancer et le modèle.
   Afficher la réponse

   Réponse : B.

   La boucle de rétroaction est obligatoire ; une conception sans chemin des signaux de production vers l’amélioration est incomplète. Les autres l’omettent.

6. Q6D1 · Conception de solution et architectureSélectionnez une réponse

   L’énoncé fixe un budget strict de 8 000 $/mois et un seuil de précision modeste pour une classification à fort volume. Quelle posture est la BEST ?

   • A. Opus 5 avec effort xhigh.
   • B. Haiku 4.5 (ou Sonnet 5) avec prompt caching et peu d’allers-retours d’outils, en traitant le coût/volume comme les piliers contraignants.
   • C. Fable 5.1 pour une qualité maximale.
   • D. Un pipeline multi-agent.
   Afficher la réponse

   Réponse : B.

   Le pilier contraignant est le coût au volume avec un besoin de qualité modeste — le modèle adéquat le moins cher avec caching. Opus/Fable (A, C) dépensent trop ; le multi-agent (D) ajoute du coût.

7. Q7D1 · Conception de solution et architectureSélectionnez une réponse

   Quand l’orchestration multi-agent est-elle réellement justifiée ?

   • A. Un pipeline séquentiel en trois étapes partageant le contexte.
   • B. Des investigations parallèles indépendantes avec contexte isolé qui convergent vers une étape de synthèse.
   • C. Une seule recherche via API avec un SLA strict.
   • D. Toujours, par sécurité.
   Afficher la réponse

   Réponse : B.

   Des sous-tâches parallèles à contexte isolé avec convergence sont le signal multi-agent. Le travail séquentiel partagé (A) est un workflow ; une seule recherche (C) relève du LLM augmenté ; « toujours » (D) est de la sur-conception.

8. Q8D1 · Conception de solution et architectureSélectionnez une réponse

   Le modèle principal renvoie des 529 soutenus lors d’un pic. Quel fallback est le BEST ?

   • A. Renvoyer une erreur à tous les utilisateurs jusqu’au rétablissement.
   • B. Réessayer avec backoff ; si l’échec persiste, basculer vers un modèle/fournisseur secondaire et journaliser la requête comme servie en mode dégradé.
   • C. Servir des réponses en cache périmées comme si elles étaient fraîches.
   • D. Basculer une session de thinking Fable 5.1 active vers un modèle bien plus ancien.
   Afficher la réponse

   Réponse : B.

   Le réessai-puis-fallback avec journalisation en mode dégradé préserve la disponibilité et l’observabilité. L’échec dur (A) est une mauvaise haute disponibilité ; le périmé-comme-frais (C) est une défaillance silencieuse ; rétrograder une session Fable 5.1 (D) supprime les blocs de thinking.

9. Q9D1 · Conception de solution et architectureSélectionnez une réponse

   L’entreprise manque de capacité ops, doit lancer dans un mois, et la capacité est banalisée (commodity). Construire ou acheter ?

   • A. Construire un runtime et un sandbox Agent SDK sur mesure.
   • B. Utiliser des managed agents (Anthropic héberge la boucle/le sandbox) pour tenir l’échéance avec un minimum d’ops.
   • C. Reporter jusqu’au recrutement d’une équipe plateforme ML.
   • D. Acheter un produit sans prise en charge de Claude.
   Afficher la réponse

   Réponse : B.

   Pas de capacité ops + échéance serrée + capacité banalisée → managed/acheter. Construire (A) contredit les contraintes ; reporter (C) rate l’échéance ; (D) abandonne l’exigence.

10. Q10D1 · Conception de solution et architectureSélectionnez une réponse

    Pourquoi consigner une conception sous forme d’ADR ?

    • A. Pour atteindre un quota de documentation.
    • B. Pour consigner le contexte, les alternatives rejetées avec leurs raisons, et le compromis retenu, afin que la décision soit examinable et réexaminable.
    • C. Parce que les ADR remplacent l’évaluation.
    • D. Parce que les systèmes agentiques les exigent techniquement.
    Afficher la réponse

    Réponse : B.

    Les ADR rendent le raisonnement et les compromis explicites et examinables. Ce n’est pas une formalité (A), ils ne remplacent pas les evals (C) et ne sont pas un prérequis technique (D).

11. Q11D1 · Conception de solution et architectureSélectionnez une réponse

    Une partie prenante donne un objectif vague et aucun chiffre. Quelle est la BEST première action ?

    • A. Commencer à construire immédiatement.
    • B. Mener une phase de discovery pour définir des critères de succès mesurables par segment et énumérer les contraintes avant de concevoir.
    • C. Choisir Opus 5 par défaut.
    • D. Supposer une cible et poursuivre.
    Afficher la réponse

    Réponse : B.

    Sans critères/contraintes la conception n’est pas ancrée ; la discovery fait émerger la contrainte contraignante. Construire (A), choisir un modèle par défaut (C) ou inventer une cible (D) escamotent l’ancrage.

12. Q12D2 · Modèles Claude, prompting et ingénierie du contexteSélectionnez une réponse

    Un pipeline exécute tout sur Opus 5 à 4× le budget avec une qualité acceptable. Meilleure correction de coût préservant la qualité ?

    • A. Déplacer tout le trafic vers Haiku 4.5.
    • B. Cascade « le moins cher d’abord » (Haiku/Sonnet), escalade vers Opus 5 en cas d’échec du contrôle de validation, et cacher le préfixe stable.
    • C. Escalader sur la confiance auto-déclarée du modèle.
    • D. Monter l’effort à xhigh partout.
    Afficher la réponse

    Réponse : B.

    Le « moins cher d’abord » avec escalade sur échec de validation préserve la qualité des cas difficiles ; le caching amortit le préfixe. Haiku pour tout (A) sacrifie la qualité ; l’auto-déclaration (C) est un anti-pattern ; xhigh partout (D) augmente le coût.

13. Q13D2 · Modèles Claude, prompting et ingénierie du contexteSélectionnez une réponse

    Après la mise à niveau vers Sonnet 5, les requêtes fixant budget_tokens échouent avec un 400. Quelle est la correction ?

    • A. Ajouter des réessais.
    • B. Utiliser thinking: {"type":"adaptive"} avec effort, puisque budget_tokens est supprimé sur Sonnet 5.
    • C. Rétrograder définitivement vers Haiku 4.5.
    • D. Supprimer entièrement le thinking.
    Afficher la réponse

    Réponse : B.

    budget_tokens est supprimé sur Sonnet 5 (renvoie un 400) ; le thinking adaptatif + effort le remplace. Les réessais (A) ne peuvent pas corriger un 400 ; Haiku (C) n’est pas équivalent ; supprimer le thinking (D) écarte le raisonnement nécessaire.

14. Q14D2 · Modèles Claude, prompting et ingénierie du contexteSélectionnez une réponse

    Un taux de cache hit est proche de zéro parce que le tour utilisateur volatil est placé avant le system prompt et les documents. Quelle est la correction ?

    • A. Désactiver le caching.
    • B. Réordonner en « stable d’abord » (system → tools → docs), puis le tour utilisateur, en marquant la frontière stable avec cache_control.
    • C. Raccourcir les documents.
    • D. Basculer vers Haiku.
    Afficher la réponse

    Réponse : B.

    Le caching s’appuie sur un préfixe stable ; le tour volatil doit venir en dernier. Désactiver (A) renonce aux économies ; la longueur (C) n’importe que pour le minimum ; le choix du modèle (D) est sans rapport.

15. Q15D2 · Modèles Claude, prompting et ingénierie du contexteSélectionnez une réponse

    Dans une session Fable 5.1 active, l’équipe doit modifier les instructions système en cours d’exécution. Quelle est la bonne approche ?

    • A. Modifier le champ system d’origine.
    • B. Ajouter un nouveau message role: "system" et laisser les tours précédents intacts (harnais append-only).
    • C. Supprimer les tours les plus anciens.
    • D. Réordonner les messages pour que la nouvelle instruction soit en premier.
    Afficher la réponse

    Réponse : B.

    Les blocs de thinking de Fable 5.1 sont invalidés par la modification/réordonnancement/suppression des tours précédents ; les changements en cours de session sont donc ajoutés en fin. Les autres options invalident le thinking en aval.

16. Q16D2 · Modèles Claude, prompting et ingénierie du contexteSélectionnez une réponse

    Une règle stricte « pas de remise au-dessus de 25 % » doit être garantie. Où doit-elle se situer ?

    • A. Une phrase fortement formulée dans le system prompt.
    • B. Un hook de permission d’outil / une validation programmatique qui rejette toute remise supérieure à 25 % avant l’exécution.
    • C. Un exemple few-shot.
    • D. Le budget de thinking.
    Afficher la réponse

    Réponse : B.

    Les règles strictes exigent une application déterministe. La formulation du prompt (A) et le few-shot (C) sont du « prompt-as-enforcement » ; le budget de thinking (D) est sans rapport.

17. Q17D2 · Modèles Claude, prompting et ingénierie du contexteSélectionnez une réponse

    Une charge de travail impose le Zero Data Retention mais l’équipe veut Fable 5.1. Quelle est la bonne recommandation ?

    • A. Utiliser Fable 5.1 ; le ZDR est universel.
    • B. Fable 5.1 exige une rétention de 30 jours et n’est pas éligible au ZDR ; choisir un modèle éligible au ZDR (Opus 5 / Sonnet 5).
    • C. Désactiver votre journalisation pour obtenir le ZDR sur Fable 5.1.
    • D. Utiliser Fable 5.1 et supprimer les journaux à 30 jours.
    Afficher la réponse

    Réponse : B.

    La rétention de 30 jours de Fable 5.1 le disqualifie sous un mandat ZDR. Le ZDR n’est pas universel (A) ; votre journalisation (C) ne change pas la rétention du fournisseur ; la suppression à 30 jours (D) est justement ce que le ZDR interdit.

18. Q18D2 · Modèles Claude, prompting et ingénierie du contexteSélectionnez une réponse

    Quelle affirmation sur la configuration du thinking des modèles actuels est correcte ?

    • A. Tous les modèles actuels exigent budget_tokens.
    • B. Les modèles actuels utilisent le thinking adaptatif avec effort (low/medium/high/xhigh) ; seul Haiku 4.5 utilise encore budget_tokens et n’a pas effort.
    • C. effort n’existe que sur Haiku 4.5.
    • D. xhigh est la valeur par défaut partout.
    Afficher la réponse

    Réponse : B.

    Le thinking adaptatif + effort est la norme ; Haiku 4.5 est l’exception budget_tokens sans effort. Les autres décrivent mal l’API.

19. Q19D2 · Modèles Claude, prompting et ingénierie du contexteSélectionnez une réponse

    Des blocs de capacité réutilisables sont collés dans chaque prompt, gonflant le contexte et cassant le préfixe de cache. Quel pattern est meilleur ?

    • A. Les packager en Skills chargés progressivement à la demande, pour garder le préfixe de cache léger.
    • B. Les dupliquer dans le prompt de chaque service.
    • C. Les déplacer dans le tour utilisateur volatil.
    • D. Agrandir la fenêtre de contexte.
    Afficher la réponse

    Réponse : A.

    Les Skills chargent la capacité à la demande et gardent le préfixe stable. La duplication (B) a causé le gonflement ; le tour volatil (C) dégrade le caching ; une fenêtre plus grande (D) ne corrige pas le coût/caching.

20. Q20D3 · Intégration (dont RAG)Sélectionnez une réponse

    Un assistant de connaissances continue de donner l’ANCIENNE réponse, avec assurance, après la mise à jour d’un document pendant la nuit. Que faut-il investiguer en FIRST ?

    • A. Réécrire le system prompt.
    • B. Inspecter ce que le retrieval a renvoyé ; le document mis à jour n’a probablement pas été re-chunké/ré-embeddé/ré-indexé, si bien que le retrieval sert des vecteurs périmés.
    • C. Basculer vers Opus 5 xhigh.
    • D. Ajouter des exemples few-shot.
    Afficher la réponse

    Réponse : B.

    Une réponse confiante-mais-fausse après un rafraîchissement pointe vers un retrieval/indexation périmé ; inspectez d’abord les chunks récupérés. Les changements de prompt (A, D) et un modèle plus grand (C) ne peuvent pas corriger un retrieval périmé.

21. Q21D3 · Intégration (dont RAG)Sélectionnez une réponse

    Un agent de support dispose de 18 outils dont delete_account qu’il ne devrait jamais utiliser. Quelle est la bonne remédiation ?

    • A. Le conserver mais journaliser chaque appel.
    • B. Retirer les outils inutiles de l’allowlist (moindre privilège) pour qu’il ne puisse pas les invoquer.
    • C. Ajouter un prompt « êtes-vous sûr ? ».
    • D. L’interdire dans le system prompt.
    Afficher la réponse

    Réponse : B.

    Le moindre privilège retire la capacité. La journalisation (A) et la confirmation (C) le laissent accessible ; une règle de prompt (D) est contournable.

22. Q22D3 · Intégration (dont RAG)Sélectionnez une réponse

    Les utilisateurs recherchent par SKU exact et par description ; le retrieval dense seul manque de nombreux SKU. Quelle est la meilleure correction ?

    • A. Augmenter k à 1000.
    • B. Retrieval hybride (BM25 + dense avec rank fusion) pour que les identifiants exacts et les correspondances sémantiques soient tous deux classés.
    • C. Un modèle de génération plus grand.
    • D. Retirer les filtres de métadonnées.
    Afficher la réponse

    Réponse : B.

    Le dense est faible sur les tokens exacts ; le sparse gère les SKU et l’hybride couvre les deux. Un k énorme (A) ajoute du bruit ; un modèle plus grand (C) ne change pas le retrieval ; retirer les filtres (D) nuit à la précision/sécurité.

23. Q23D3 · Intégration (dont RAG)Sélectionnez une réponse

    Le recall@10 est de 0,94 mais les réponses incluent des faits absents des chunks récupérés. Quelle couche est en cause et quelle correction ?

    • A. Le retrieval ; baisser k.
    • B. La génération/l’ancrage (grounding) ; imposer « réponse uniquement à partir du contexte », ajouter des citations, et reranker pour que le meilleur passage soit en tête.
    • C. Les embeddings ; changer de modèle.
    • D. L’indexation ; tout ré-indexer.
    Afficher la réponse

    Réponse : B.

    Un recall élevé signifie que le retrieval fonctionne ; des faits non étayés sont une défaillance de grounding. Les corrections côté retrieval (A, C, D) visent une couche saine.

24. Q24D3 · Intégration (dont RAG)Sélectionnez une réponse

    Un corpus de 3M de documents change chaque jour et les réponses doivent citer la clause exacte. Quelle est la meilleure approche ?

    • A. Un fine-tuning hebdomadaire sur le corpus.
    • B. Le RAG avec retrieval hybride, reranking, citations, et un pipeline de rafraîchissement planifié.
    • C. Bourrer tout le corpus dans 1M de contexte par requête.
    • D. Long contexte + fine-tuning.
    Afficher la réponse

    Réponse : B.

    Les corpus volumineux, changeants et exigeant des citations sont un cas canonique de RAG. Le fine-tuning (A) ne peut pas suivre des faits quotidiens ; le corpus dépasse/dépense le contexte et perd les citations (C) ; (D) hérite des deux problèmes.

25. Q25D3 · Intégration (dont RAG)Sélectionnez deux réponses

    Des contrats chunkés à 500 tokens fixes produisent des réponses citant la mauvaise sous-clause et perdant le contexte. Quelles DEUX approches aident le plus ?

    • A. Un chunking structurel/document-aware sur les frontières de clause/section.
    • B. Un chunking parent-enfant : faire correspondre les petits enfants, retourner la clause parente plus large.
    • C. Retrieval dense seul.
    • D. Température plus élevée.
    • E. Retirer les citations.
    Afficher la réponse

    Réponse : A et B.

    Les documents structurés nécessitent un chunking respectant les frontières et un contexte parent-enfant. Le dense seul (C), la température (D) et le retrait des citations (E) ne traitent pas le chunking.

26. Q26D3 · Intégration (dont RAG)Sélectionnez une réponse

    Un serveur MCP distant sur Streamable HTTP expose des outils puissants sans authentification. Que faut-il ajouter ?

    • A. Rien ; MCP est sûr par défaut.
    • B. OAuth 2.1 sur le serveur MCP distant, plus des contrôles de permission par utilisateur à l’intérieur des outils.
    • C. Un prompt plus long.
    • D. Un palier de rate-limit supérieur.
    Afficher la réponse

    Réponse : B.

    Le MCP distant exige OAuth 2.1 et une autorisation par utilisateur. MCP n’est pas authentifié par défaut (A) ; les prompts (C) et les paliers (D) ne traitent pas l’autorisation.

27. Q27D3 · Intégration (dont RAG)Sélectionnez une réponse

    Après avoir activé les réessais avec backoff, certains clients sont facturés deux fois. Quelle est la bonne correction ?

    • A. Désactiver les réessais.
    • B. Ajouter des clés d’idempotence à l’action de facturation afin que les réessais soient dédupliqués sans effet de bord dupliqué.
    • C. Baisser la température.
    • D. Réconcilier les doublons chaque semaine.
    Afficher la réponse

    Réponse : B.

    Les clés d’idempotence rendent les réessais sûrs. Désactiver les réessais (A) nuit à la résilience ; la température (C) est sans rapport ; réconcilier plus tard (D) a quand même doublement facturé.

28. Q28D3 · Intégration (dont RAG)Sélectionnez une réponse

    Certaines questions nécessitent des recherches de suivi combinant plusieurs sources. Quelle conception convient et quel est son compromis ?

    • A. Le RAG agentique (le modèle décide quand/quoi récupérer, émet des suivis), au prix de plus de latence/tokens.
    • B. Bourrer tout dans le contexte.
    • C. Fine-tuner sur l’ensemble multi-hop.
    • D. Retirer le reranking pour la vitesse.
    Afficher la réponse

    Réponse : A.

    Les requêtes multi-hop justifient le RAG agentique ; le compromis est le coût/la latence. Le bourrage (B) ne passe pas à l’échelle ; le fine-tuning (C) ne peut pas retenir des faits changeants ; retirer le reranking (D) nuit à la précision.

29. Q29D3 · Intégration (dont RAG)Sélectionnez une réponse

    Une capacité sera réutilisée par de nombreux agents/clients sous un protocole standard. Quel est le meilleur mécanisme d’intégration ?

    • A. Un outil CLI par application copié dans chaque service.
    • B. Un serveur MCP (OAuth 2.1 s’il est distant) pour un accès standard et réutilisable.
    • C. Uniquement un handoff agent-à-agent.
    • D. Coller la logique dans chaque prompt.
    Afficher la réponse

    Réponse : B.

    La réutilisation multi-clients sous un protocole standard est la raison d’être de MCP. Les outils par application (A) fragmentent ; l’agent-à-agent (C) sert à l’isolation de contexte ; coller dans le prompt (D) est ingérable.

30. Q30D3 · Intégration (dont RAG)Sélectionnez deux réponses

    Un agent charge les 40 outils et 30 docs à chaque requête : coût élevé, faibles cache hits, mauvaise sélection d’outils. Quelles DEUX corrections l’améliorent ?

    • A. La recherche d’outils avec defer_loading: true pour ne charger que les outils pertinents.
    • B. Packager le matériel de référence en Skills chargées à la demande.
    • C. Agrandir la fenêtre à 1M et continuer à tout charger.
    • D. Escalader chaque requête vers Opus 5.
    • E. Désactiver le prompt caching.
    Afficher la réponse

    Réponse : A et B.

    La découverte progressive garde le contexte léger, restaure le préfixe de cache et améliore la sélection d’outils. Une fenêtre plus grande (C) paie encore le gonflement ; escalader (D) augmente le coût ; désactiver le caching (E) est l’inverse de la correction.

31. Q31D3 · Intégration (dont RAG)Sélectionnez deux réponses

    Quels signaux d’observabilité permettent de reconstruire de bout en bout une requête multi-étapes échouée ?

    • A. Un correlation ID propagé de l’application → au modèle → aux outils → à l’aval.
    • B. Des traces par span avec télémétrie tokens/coût, IDs des chunks récupérés, et stop reasons.
    • C. Uniquement le code de statut HTTP final.
    • D. Uniquement les décomptes quotidiens agrégés de requêtes.
    • E. L’auto-évaluation de la requête par le modèle.
    Afficher la réponse

    Réponse : A et B.

    Les correlation IDs plus les traces par span (avec le détail retrieval et coût) rendent un incident reconstructible. Un code de statut (C) et des décomptes quotidiens (D) sont trop grossiers ; l’auto-évaluation (E) n’est pas fiable.

32. Q32D4 · Évaluation, tests et optimisationSélectionnez une réponse

    Un bot rapporte une précision globale de 90 % mais seuls les tickets de remboursement échouent. Que faut-il ?

    • A. Rien ; 90 % suffit.
    • B. Des métriques par segment qui ventilent la précision par type de ticket, exposant l’échec des remboursements que l’agrégat masque.
    • C. Un golden set plus grand mais avec le même mix.
    • D. Un modèle à effort plus élevé pour tous les tickets.
    Afficher la réponse

    Réponse : B.

    L’agrégat masque une défaillance de segment ; des métriques stratifiées l’exposent. L’agrégat (A) induit en erreur ; un set au même mix (C) le masque encore ; l’escalade générale (D) surpaie.

33. Q33D4 · Évaluation, tests et optimisationSélectionnez une réponse

    Noter des réponses avec le même modèle et la même session qui les ont produites n’est pas fiable parce que…

    • A. cela coûte trop cher.
    • B. l’auto-évaluation dans la même session porte le biais de production ; le juge doit être un modèle/une session distincte et calibré contre des humains.
    • C. le juge doit toujours être plus grand.
    • D. le LLM-as-judge n’est jamais valide.
    Afficher la réponse

    Réponse : B.

    L’indépendance plus la calibration humaine sont requises. Le coût (A) n’est pas le problème central ; le juge n’a pas besoin d’être plus grand (C) ; le LLM-as-judge est valide lorsqu’il est indépendant (D).

34. Q34D4 · Évaluation, tests et optimisationSélectionnez une réponse

    Le prompt B bat A sur 7 exemples sur 12 choisis à la main. Quelle conclusion est correcte ?

    • A. Déployer B.
    • B. L’échantillon est trop petit ; mener un A/B apparié sur un large ensemble par segment et tester la significativité statistique avant de promouvoir.
    • C. Déployer A comme titulaire.
    • D. Moyenner les prompts.
    Afficher la réponse

    Réponse : B.

    7/12 est du bruit ; la promotion nécessite un résultat apparié significatif sans régression par segment. Juger à l’œil (A, C) et moyenner les prompts (D) ne sont pas fiables.

35. Q35D4 · Évaluation, tests et optimisationSélectionnez une réponse

    La latence moyenne est de 2 s mais les utilisateurs se plaignent ; le p95 est de 12 s. Que doit suivre le SLA ?

    • A. La moyenne uniquement.
    • B. La latence de queue (p95/p99), qui reflète les expériences lentes que la moyenne masque.
    • C. Le nombre de requêtes.
    • D. Le nombre de tokens.
    Afficher la réponse

    Réponse : B.

    Les SLA interactifs suivent p95/p99. La moyenne (A) masque la queue ; le décompte (C) et les tokens (D) ne sont pas des SLA de latence.

36. Q36D4 · Évaluation, tests et optimisationSélectionnez deux réponses

    Un juge LLM note les réponses plus longues plus haut indépendamment de la justesse. De quoi s’agit-il et quelle est la correction ?

    • A. Un biais de longueur (length bias).
    • B. Calibrer contre des labels humains et réviser le barème pour noter la justesse/le grounding, pas la longueur.
    • C. Le juge est fiable.
    • D. Toujours préférer la réponse la plus longue.
    • E. Supprimer l’eval.
    Afficher la réponse

    Réponse : A et B.

    Le biais de longueur se corrige par la calibration et un barème centré sur la justesse. Le juge n’est pas fiable (C), récompenser la longueur (D) est le bug, et supprimer les evals (E) abandonne la mesure.

37. Q37D4 · Évaluation, tests et optimisationSélectionnez une réponse

    Comment empêcher qu’une correction pour un segment casse silencieusement un autre ?

    • A. Des vérifications manuelles ponctuelles après la mise en production.
    • B. Une suite de régression par segment en CI qui bloque le merge sur toute régression de segment.
    • C. Faire confiance à l’auteur.
    • D. Tester uniquement le segment modifié.
    Afficher la réponse

    Réponse : B.

    Un garde-fou de régression par segment en CI est la protection. Les vérifications ponctuelles (A) et la confiance en l’auteur (C) ne sont pas fiables ; tester uniquement le segment modifié (D) est justement le risque.

38. Q38D4 · Évaluation, tests et optimisationSélectionnez une réponse

    Un système n’échoue que sur les 5 % de cas les plus difficiles. Cause la plus probable et correction ?

    • A. Le retrieval ; tout re-chunker.
    • B. Une inadéquation de modèle (palier trop petit) ; escalader uniquement ces cas vers un modèle plus fort via une cascade.
    • C. Un échec de prompt ; réécrire tout le prompt.
    • D. L’infra ; ajouter des réplicas.
    Afficher la réponse

    Réponse : B.

    « Seuls les cas les plus difficiles échouent » signale la capacité du modèle ; une cascade escalade ces cas. Le re-chunking (A) et la réécriture du prompt (C) visent des couches qui fonctionnent ; les réplicas (D) n’affectent pas la justesse.

39. Q39D4 · Évaluation, tests et optimisationSélectionnez une réponse

    Réduire le coût de 50 % sur un job en masse nocturne sans besoin de latence. Meilleur levier et que doit-on faire ensuite ?

    • A. Baisser l’effort à l’aveugle et déployer.
    • B. Passer à la Message Batches API (−50 %, sous 24 h) et ré-exécuter la suite de régression par segment pour confirmer l’absence de régression de qualité.
    • C. Basculer aussi le trafic interactif vers Haiku.
    • D. Désactiver l’évaluation.
    Afficher la réponse

    Réponse : B.

    Le travail en masse tolérant à la latence convient au Batch ; tout changement de coût est suivi d’une re-validation par segment. Les coupes d’effort à l’aveugle (A) risquent la qualité ; changer le trafic interactif (C) est hors périmètre ; désactiver les evals (D) supprime le filet de sécurité.

40. Q40D4 · Évaluation, tests et optimisationSélectionnez deux réponses

    Quelles sont les deux bonnes métriques pour un service à fort volume, sensible au coût, avec un SLA interactif ?

    • A. Le coût par tâche.
    • B. La latence p95.
    • C. La latence moyenne uniquement.
    • D. Le total des tokens de la flotte.
    • E. Le nombre de versions de prompt.
    Afficher la réponse

    Réponse : A et B.

    Sensible au coût + interactif → coût par tâche et p95. La moyenne (C) masque la queue ; le total des tokens (D) et le nombre de versions (E) ne sont pas des métriques SLA côté utilisateur.

41. Q41D4 · Évaluation, tests et optimisationSélectionnez une réponse

    Un golden set est composé à 85 % de tickets en anglais ; en production les tickets en espagnol échouent. Défaut et correction ?

    • A. Le set était trop petit.
    • B. Il manquait de couverture par segment ; stratifier par langue et rapporter par segment.
    • C. Le modèle est cassé.
    • D. Les evals en ligne sont inutiles.
    Afficher la réponse

    Réponse : B.

    Un set non stratifié rend un segment invisible hors ligne. La taille (A) n’est pas le problème ; le modèle n’est pas cassé (C) ; les evals en ligne (D) restent nécessaires mais la cause racine est la couverture.

42. Q42D5 · Gouvernance, sûreté et gestion des risquesSélectionnez une réponse

    Un agent de paiement ne doit jamais déplacer plus de 10 000 $ sans approbation. Quelle est la bonne conception ?

    • A. Une phrase ferme dans le system prompt.
    • B. Un hook de permission d’outil / une validation qui bloque les virements supérieurs à 10 000 $ et les route vers un point de contrôle d’approbation humaine.
    • C. Demander au modèle de signaler sa confiance avant les virements.
    • D. Escalader uniquement lorsque l’utilisateur semble anxieux.
    Afficher la réponse

    Réponse : B.

    Les limites strictes exigent une application déterministe plus un point de contrôle humain. La formulation du prompt (A), l’auto-déclaration (C) et le sentiment (D) sont des anti-patterns.

43. Q43D5 · Gouvernance, sûreté et gestion des risquesSélectionnez une réponse

    Une agence fédérale américaine exige FedRAMP High. Quel déploiement est conforme ?

    • A. L’API Anthropic directe.
    • B. Claude via Bedrock ou Vertex à l’intérieur du périmètre FedRAMP High.
    • C. N’importe quel cloud ; Claude est intrinsèquement conforme.
    • D. Un ordinateur portable personnel.
    Afficher la réponse

    Réponse : B.

    FedRAMP High est fourni via les périmètres Bedrock/Vertex. L’API directe (A) en est en dehors ; la conformité n’est pas intrinsèque (C) ; un ordinateur portable (D) est inacceptable.

44. Q44D5 · Gouvernance, sûreté et gestion des risquesSélectionnez deux réponses

    Un agent résumant des pages web lit un texte caché lui demandant d’envoyer des données à l’extérieur par e-mail. De quoi s’agit-il et quelle est la défense ?

    • A. Une injection de prompt indirecte.
    • B. Traiter le contenu externe comme non fiable, appliquer le moindre privilège pour qu’il n’ait pas d’outil e-mail sans restriction, et valider/refuser de telles actions.
    • C. Lui faire confiance parce qu’il provient d’un outil.
    • D. Augmenter l’effort.
    • E. Ajouter l’instruction au system prompt.
    Afficher la réponse

    Réponse : A et B.

    Des instructions malveillantes dans le contenu récupéré constituent une injection indirecte ; la défense est le traitement du contenu non fiable plus le moindre privilège et la validation. Faire confiance à la sortie d’outil (C) est la vulnérabilité ; l’effort (D) est sans rapport ; ajouter l’instruction au prompt (E) exécute l’attaque.

45. Q45D5 · Gouvernance, sûreté et gestion des risquesSélectionnez deux réponses

    Une clinique veut un assistant Claude lisant les dossiers patients. Premières exigences de conformité ?

    • A. Un BAA signé avec le fournisseur.
    • B. Des contrôles de traitement des PHI (minimum nécessaire, contrôles d’accès, journaux d’audit) et une posture de rétention/ZDR appropriée.
    • C. Rien ; c’est interne.
    • D. Publier les données patients pour améliorer le modèle.
    • E. Escalader sur le sentiment du patient.
    Afficher la réponse

    Réponse : A et B.

    Les PHI sous HIPAA exigent un BAA et des contrôles PHI avec audit. « Interne » (C) n’exempte pas les PHI ; publier les données (D) est une violation ; l’escalade sur sentiment (E) est sans rapport.

46. Q46D5 · Gouvernance, sûreté et gestion des risquesSélectionnez une réponse

    Escalader vers un humain dès que le client « semble en colère » est défectueux parce que…

    • A. c’est optimal.
    • B. le sentiment n’est pas un proxy de la complexité/du risque ; escaladez plutôt sur une complexité mesurée ou des règles déterministes.
    • C. cela escalade trop rarement.
    • D. la colère signifie toujours que le modèle a échoué.
    Afficher la réponse

    Réponse : B.

    L’escalade fondée sur le sentiment confond l’émotion avec la difficulté. Ce n’est pas optimal (A) ; la fréquence (C) n’est pas le défaut central ; la colère n’implique pas un échec du modèle (D).

47. Q47D5 · Gouvernance, sûreté et gestion des risquesSélectionnez une réponse

    Quel ensemble représente le mieux des guardrails en couches ?

    • A. Un seul system prompt très détaillé.
    • B. Classifieur d’entrée → orientation par prompt → hooks de permission d’outil → validation de sortie → revue humaine pour les actions à fort enjeu.
    • C. Uniquement une revue humaine à la fin.
    • D. Uniquement une regex en sortie.
    Afficher la réponse

    Réponse : B.

    La défense en profondeur empile des couches indépendantes. Un seul prompt (A), la revue seule (C) ou la regex seule (D) sont des points de défaillance uniques.

48. Q48D5 · Gouvernance, sûreté et gestion des risquesSélectionnez deux réponses

    Traitement à haut risque de données personnelles de résidents de l’UE — requis avant le lancement ?

    • A. Une DPIA.
    • B. La résidence UE et un chemin d’effacement/suppression pour la personne concernée.
    • C. Attendre une plainte.
    • D. Stocker toutes les données indéfiniment.
    • E. Escalader sur la confiance du modèle.
    Afficher la réponse

    Réponse : A et B.

    Le traitement à haut risque sous le RGPD exige une DPIA plus la résidence et la prise en charge des DSAR/effacement. Attendre (C) et le stockage indéfini (D) violent le RGPD ; l’escalade sur confiance (E) est sans rapport.

49. Q49D5 · Gouvernance, sûreté et gestion des risquesSélectionnez une réponse

    Un incident d’injection de prompt est détecté en production. Quel premier confinement est sain ?

    • A. Supprimer tous les journaux.
    • B. Revenir à la version précédente du prompt/modèle et/ou désactiver l’outil exploité via son hook de permission, en circonscrivant l’impact grâce aux correlation IDs et aux traces.
    • C. L’ignorer jusqu’à la prochaine release.
    • D. Publier publiquement les données clients par transparence.
    Afficher la réponse

    Réponse : B.

    Le confinement consiste en un rollback rapide et la désactivation de la capacité exploitée, circonscrits via les traces. Supprimer les journaux (A) détruit les preuves ; ignorer (C) prolonge le préjudice ; divulguer les données (D) est une seconde violation.

50. Q50D5 · Gouvernance, sûreté et gestion des risquesSélectionnez une réponse

    Où doivent résider les clés d’API et les identifiants de base de données d’un agent Claude ?

    • A. Dans le system prompt.
    • B. Dans des variables d’environnement ou un gestionnaire de secrets, jamais dans les prompts, CLAUDE.md ou les journaux.
    • C. Dans CLAUDE.md par commodité.
    • D. En dur dans le code source des outils et affichés dans les journaux.
    Afficher la réponse

    Réponse : B.

    Les secrets appartiennent aux variables d’environnement/gestionnaires de secrets, jamais à une config visible du modèle ni aux journaux. Les autres créent des chemins d’exfiltration.

51. Q51D5 · Gouvernance, sûreté et gestion des risquesSélectionnez deux réponses

    Un assistant de présélection de candidatures formule des recommandations lourdes de conséquences. Contrôles requis ?

    • A. Une évaluation d’équité par groupe et un traitement symétrique examiné pour détecter le biais.
    • B. Un décideur humain conserve l’autorité sur la décision d’embauche.
    • C. L’automatisation complète pour supprimer le biais humain.
    • D. Escalader uniquement lorsqu’un candidat semble confiant.
    • E. Stocker toutes les données des candidats indéfiniment.
    Afficher la réponse

    Réponse : A et B.

    Les décisions lourdes de conséquences sur les personnes exigent une évaluation d’équité et une autorité humaine. L’automatisation complète (C) blanchit le biais ; l’escalade sur sentiment (D) et la rétention indéfinie (E) sont des anti-patterns/problèmes RGPD.

52. Q52D6 · Communication avec les parties prenantes et gestion du cycle de vieSélectionnez une réponse

    Deux parties prenantes ne sont pas d’accord et aucune métrique de succès n’existe ; l’équipe veut construire. Première action ?

    • A. Construire l’interprétation la plus probable.
    • B. Mener une discovery structurée pour s’aligner sur des critères et contraintes mesurables par segment, et obtenir une validation avant la conception.
    • C. Choisir Opus 5 et démarrer.
    • D. Escalader vers le fournisseur.
    Afficher la réponse

    Réponse : B.

    Sans accord ni métriques, le point de contrôle discovery n’est pas franchi. Construire (A), choisir un modèle (C) ou escalader (D) escamotent l’ancrage.

53. Q53D6 · Communication avec les parties prenantes et gestion du cycle de vieSélectionnez une réponse

    Présenter une décision workflow-vs-agentique à un sponsor exécutif ET à des ingénieurs. Meilleure approche ?

    • A. Envoyer aux deux l’ADR technique complet.
    • B. Le sponsor reçoit une matrice de décision d’une page avec coût/risque/valeur ; les ingénieurs reçoivent l’ADR avec alternatives rejetées et conséquences.
    • C. Les deux reçoivent une diapositive « valeur uniquement ».
    • D. Les deux reçoivent les journaux d’eval bruts.
    Afficher la réponse

    Réponse : B.

    La communication s’adapte à l’altitude de l’audience. Un seul document pour les deux (A, C) ou des journaux bruts (D) inadaptent une audience.

54. Q54D6 · Communication avec les parties prenantes et gestion du cycle de vieSélectionnez une réponse

    Transformer « un support plus rapide » en SLA. Quelle est la bonne approche ?

    • A. Promettre « beaucoup plus rapide ».
    • B. Convenir de cibles chiffrées par segment (latence p95, taux de déflexion, coût/ticket) et rapporter selon une cadence.
    • C. Suivre la latence moyenne uniquement.
    • D. Le laisser indéfini.
    Afficher la réponse

    Réponse : B.

    Les SLA doivent être mesurables et par segment avec un reporting. Les promesses vagues (A) ne sont pas vérifiables ; la moyenne seule (C) masque la queue ; l’indéfini (D) invite aux litiges.

55. Q55D6 · Communication avec les parties prenantes et gestion du cycle de vieSélectionnez une réponse

    Quel niveau C4 montre le mieux aux dirigeants comment le système s’insère dans son environnement ?

    • A. Niveau 4 (Code).
    • B. Niveau 1 (Contexte).
    • C. Niveau 3 (Composant).
    • D. Des diagrammes de séquence exhaustifs.
    Afficher la réponse

    Réponse : B.

    Le niveau Contexte montre le système, les utilisateurs et les systèmes externes pour un large public. Le Code (A) et le Composant (C) s’adressent aux ingénieurs ; les diagrammes exhaustifs (D) submergent.

56. Q56D6 · Communication avec les parties prenantes et gestion du cycle de vieSélectionnez deux réponses

    Un modèle sur lequel le service est épinglé a été retiré. Quelle est la bonne approche de migration ?

    • A. Lire l’avis de dépréciation, identifier les changements cassants, et ré-exécuter la suite de régression par segment sur le modèle cible, en ajustant les prompts.
    • B. Faire un canary du nouveau modèle avec rollback, puis monter en charge, et communiquer le calendrier/les différences.
    • C. Remplacer l’ID en production et espérer.
    • D. Continuer d’appeler le modèle retiré.
    • E. Désactiver les evals pour migrer plus vite.
    Afficher la réponse

    Réponse : A et B.

    La dépréciation est un événement de cycle de vie gouverné : évaluer, re-valider par segment, canary, communiquer. Un remplacement à l’aveugle (C) risque des régressions ; appeler un modèle retiré (D) échoue ; désactiver les evals (E) supprime le filet de sécurité.

57. Q57D6 · Communication avec les parties prenantes et gestion du cycle de vieSélectionnez une réponse

    Quel livrable est requis pour franchir le point de contrôle de passation vers l’exploitation ?

    • A. Un support marketing.
    • B. Un runbook (dashboards, alertes, on-call, rollback, dépendances) plus la documentation C4, afin que les opérateurs puissent l’exploiter et le rétablir.
    • C. Rien ; ils se débrouilleront.
    • D. Uniquement le code source.
    Afficher la réponse

    Réponse : B.

    Le critère de sortie de la passation est que les opérateurs puissent exploiter et rétablir le système. Un support (A), rien (C) ou le code seul (D) ne permettent pas une exploitation sûre.

58. Q58D6 · Communication avec les parties prenantes et gestion du cycle de vieSélectionnez une réponse

    Quand une DPIA/BAA doit-elle être traitée dans le cycle de vie ?

    • A. Après le lancement, si un régulateur le demande.
    • B. Au point de contrôle de conception, pour que la résidence, la rétention et le traitement des PHI/PII façonnent l’architecture avant la construction.
    • C. Jamais, si c’est interne.
    • D. Uniquement pendant la réponse à incident.
    Afficher la réponse

    Réponse : B.

    La conformité doit façonner la conception ; la DPIA/BAA relève donc du critère de sortie de conception. Plus tard (A, D) est trop tard ; « interne » (C) n’exempte pas des données réglementées.

59. Q59D6 · Communication avec les parties prenantes et gestion du cycle de vieSélectionnez deux réponses

    Un système techniquement solide connaît une faible adoption. Quels leviers aident le plus ?

    • A. La formation/l’activation et une communication claire des capacités et des limites.
    • B. Un déploiement par phases avec capture des retours et reporting des métriques de succès.
    • C. L’usage immédiat obligatoire sans support.
    • D. Retirer les points de contrôle humains pour la vitesse.
    • E. Cacher les limites aux utilisateurs.
    Afficher la réponse

    Réponse : A et B.

    L’adoption est portée par l’activation, le déploiement par phases, les retours et la valeur démontrée. L’usage forcé (C), le retrait des points de contrôle (D) et la dissimulation des limites (E) se retournent contre soi.

60. Q60D6 · Communication avec les parties prenantes et gestion du cycle de vieSélectionnez deux réponses

    L’équipe prévoit de déployer à 100 % des utilisateurs sans runbook et sans métriques convenues. Qu’insère la bonne réponse ?

    • A. Des critères de succès mesurables convenus avant de poursuivre.
    • B. Un runbook et un déploiement canary/par phases avec rollback avant le déploiement complet.
    • C. Un déploiement complet immédiat pour collecter des données.
    • D. Sauter la supervision pour réduire la charge.
    • E. Des définitions de métriques par ingénieur.
    Afficher la réponse

    Réponse : A et B.

    Les points de contrôle manquants sont des critères convenus et un runbook plus un canary avec rollback. Le déploiement complet (C) a un fort rayon d’impact (« blast radius ») ; sauter la supervision (D) aveugle l’exploitation ; des métriques par ingénieur (E) détruisent une définition partagée du succès.

61. Q61D7 · Productivité des développeurs et activation opérationnelleSélectionnez une réponse

    Une équipe plateforme veut imposer un standard de code et l’interdiction de commandes destructrices sur tous les dépôts, sans possibilité de surcharge. Meilleur mécanisme ?

    • A. Demander aux développeurs d’ajouter des règles dans CLAUDE.local.md.
    • B. Une politique managée/entreprise plus un ./CLAUDE.md et un .claude/settings.json versionnés avec permissions.deny.
    • C. Un message Slack partagé.
    • D. Un e-mail trimestriel.
    Afficher la réponse

    Réponse : B.

    L’application non surchargeable à l’échelle de l’organisation est ce que fournit la politique managée, avec une config projet versionnée comme socle. CLAUDE.local.md (A) est git-ignoré/surchargeable ; Slack (C) et e-mail (D) ne sont pas de l’application.

62. Q62D7 · Productivité des développeurs et activation opérationnelleSélectionnez une réponse

    Mettre en place une revue de diff automatisée en CI. Quelle est la bonne approche ?

    • A. Lancer Claude en interactif et coller les diffs à la main.
    • B. Le mode headless : claude -p '…' --output-format json avec des --allowedTools restreints et un --permission-mode approprié.
    • C. Donner tous les outils à l’agent CI.
    • D. Désactiver les permissions en CI.
    Afficher la réponse

    Réponse : B.

    La CI est non interactive → headless avec sortie structurée et outils restreints. L’usage interactif (A) ne peut pas s’exécuter en CI ; tous-les-outils (C) et permissions désactivées (D) rompent le moindre privilège.

63. Q63D7 · Productivité des développeurs et activation opérationnelleSélectionnez une réponse

    Un manager veut mesurer la productivité de l’IA par lignes de code générées et suggestions acceptées. Quelle recommandation ?

    • A. Ce sont de bonnes métriques principales.
    • B. Mesurer les résultats de livraison (cycle time, taux d’échec de changement/de reprise, qualité de la revue) ; les lignes et les acceptations sont des vanity metrics.
    • C. Mesurer les tokens consommés.
    • D. Ne pas mesurer du tout.
    Afficher la réponse

    Réponse : B.

    La productivité se rattache aux résultats de livraison, pas au volume. Les lignes/acceptations (A) et les tokens (C) sont des signaux de vanité ; ne pas mesurer (D) renonce à démontrer la valeur.