Former une équipe à Microsoft Copilot ne consiste pas seulement à expliquer des fonctionnalités ou à réunir des assistants lors d’une démonstration. Le problème apparaît lorsque, de retour à leur poste, les personnes ne savent pas quelles informations elles peuvent utiliser, comment formuler une demande vérifiable ou comment repérer une réponse incomplète. Une évaluation par tâches permet de préparer cette situation avant la formation et d’observer des comportements concrets, et pas seulement l’
La proposition est simple : choisir une tâche habituelle et à faible risque, créer des supports fictifs ou anonymisés, définir une grille et répéter l’exercice après la formation. L’objectif n’est pas de transformer l’évaluation en examen de prompts ni d’attribuer des résultats commerciaux qui n’ont pas été mesurés. Il s’agit de vérifier si chaque profil peut demander, contrôler et corriger un résultat de Copilot dans des limites définies.
Commencez par l’expérience Copilot que l’équipe utilisera
Avant de rédiger un exercice, vérifiez la configuration réellement disponible pour chaque participant. Microsoft distingue des expériences et des exigences qui peuvent varier selon l’application, l’identité, la licence et la configuration de l’environnement. Microsoft indique également que la dénomination de ses produits a évolué ; il est donc préférable d’éviter les supports fondés sur des noms ou des capacités présumés et de vérifier le tenant avant de convoquer la séance pratique. [1] [3]
Préparez une fiche courte par groupe : compte professionnel, accès avec Microsoft Entra ID, application utilisée, documents d’exercice disponibles et, si la tâche dépend de la messagerie, du calendrier ou des réunions, conditions de boîte aux lettres requises. Cette vérification évite de concevoir une activité pour une expérience que l’équipe n’a pas activée. Si des conditions techniques manquent, la conclusion utile n’est pas d’évaluer négativement la personne, mais d’ajuster l’environnement ou de repenser la tâche. [3]
- Définissez l’application et l’expérience précises qui seront évaluées.
- Vérifiez que tout le monde utilise un compte professionnel autorisé.
- Limitez l’évaluation à des sources et à des autorisations examinées au préalable.
Choisissez une tâche reconnaissable et préparez des données sûres
Une bonne évaluation est courte, répétable et propre au poste. Pour l’administration, elle pourrait consister à convertir trois e-mails fictifs en un récapitulatif de suivi. Pour les ventes, à rédiger un premier e-mail après une réunion simulée. Pour le service client, à résumer un incident et à signaler les données manquantes. Pour un responsable, à transformer des notes fictives en accords, responsables et questions en suspens. Il s’agit d’exemples hypothétiques : chaque organisation doit adapter le cas à ses processus et à ses autorisations.
Utilisez des documents, messages et enregistrements fictifs ou anonymisés. Introduisez des ambiguïtés contrôlées, une donnée manquante et une ou deux incohérences délibérées. Vous pourrez ainsi observer si la personne repère la limite, demande une précision ou signale une incertitude, plutôt que d’accepter une réponse convaincante sans la vérifier. Microsoft indique que Copilot respecte les autorisations existantes et accède uniquement au contenu organisationnel auquel l’utilisateur a déjà accès ; c’est précisément pourquoi une pratique responsable exige de revoir les autorisations et le contenu avant d’impliquer des informations internes. [2]
- Incluez des noms, dates et chiffres fictifs qui doivent être vérifiés.
- Évitez les données personnelles, les informations confidentielles et les cas réels non nécessaires.
- Indiquez quelles sources la personne peut consulter pendant l’exercice.
Transformez l’évaluation en une grille observable
La grille doit évaluer des comportements qu’un relecteur peut identifier, et non des impressions telles que « utilise bien l’IA ». Vous pouvez attribuer une échelle simple à la compréhension de la tâche, à la clarté des instructions, à la vérification des chiffres, noms, dates et destinataires, à l’identification des informations incertaines, à la pertinence des données incluses et à la décision de corriger, d’écarter ou de faire remonter le résultat. Définissez à l’avance les éléments de preuve qui seront conservés : la demande, la réponse obtenue, la version corrigée et les observations du relecteur.
La révision humaine constitue une partie essentielle de l’exercice. Le cadre du NIST recommande de sélectionner des métriques liées aux risques pertinents, de documenter la supervision humaine et de conserver des signaux tels que les erreurs signalées, les annulations et les décisions de poursuivre ou non. Appliqué à cette pratique, cela signifie qu’il ne suffit pas d’enregistrer qu’une personne a obtenu une réponse : il importe de savoir ce qu’elle a détecté, ce qu’elle a corrigé et à quel moment elle a décidé que le résultat n’était pas utilisable pour poursuivre. [5]
- Créez des critères identiques pour les personnes qui réalisent la même tâche.
- Décrivez ce qui constitue une erreur critique dans ce scénario simulé.
- Consignez les corrections nécessaires sans utiliser la grille pour pénaliser l’expérimentation prudente.
Répétez, interprétez et améliorez la formation
Réalisez une première évaluation avant la formation afin de connaître le point de départ, puis une seconde, avec une tâche équivalente mais non identique, après la mise en pratique. Vous pouvez ajouter une révision plusieurs semaines plus tard afin d’observer si le comportement se maintient dans une situation simulée comparable. Distinguez trois indicateurs : la participation, c’est-à-dire les personnes qui ont terminé l’exercice ; l’apprentissage appliqué, soit les personnes qui ont atteint les critères de la grille ; et le transfert au poste, soit les personnes qui répètent ultérieurement le processus approprié. Cette distinction évite de b
Les rapports d’adoption et d’utilisation de Microsoft peuvent apporter du contexte sur l’activité par application ou fonctionnalité, mais ils ne remplacent pas l’examen de la qualité d’une tâche précise. Utilisez-les comme signal complémentaire, et non comme preuve unique de l’apprentissage ou de l’amélioration du travail. Concluez chaque cycle par des décisions opérationnelles : renforcer la vérification des données, clarifier les sources autorisées, modifier les échantillons, revoir les autorisations ou réserver certaines tâches à une validation humaine obligatoire. [4]
- Comparez les éléments de preuve et les critères, et pas seulement le nombre d’utilisations.
- Identifiez les tendances d’erreur à traiter lors de la session suivante.
- Indiquez à l’équipe que l’objectif est d’améliorer le processus de travail et ses contrôles.
Questions fréquentes
L’évaluation par tâches doit-elle être effectuée avant et après la formation ?
Il est recommandé de réaliser les deux phases si l’on souhaite observer un changement. La première aide à concevoir une formation adaptée au point de départ ; la seconde permet de vérifier la performance au moyen d’une tâche équivalente. Une révision ultérieure peut apporter des informations sur le transfert, à condition de s’appuyer sur une grille
Peut-on utiliser des documents réels dans une évaluation de Microsoft Copilot ?
Il est préférable de privilégier des supports fictifs ou anonymisés. Si une organisation juge nécessaire d’utiliser des informations internes, elle doit définir au préalable le périmètre, vérifier les autorisations et limiter l’accès aux personnes autorisées. L’évaluation ne devrait pas étendre les accès ni exposer des données qui ne sont pas
Les rapports d’utilisation de Copilot prouvent-ils que la formation a fonctionné ?
Non, pas à eux seuls. Ils peuvent montrer l’activité et l’adoption, mais ils ne permettent pas de déterminer automatiquement si une réponse était correcte, si elle a été correctement vérifiée ou si la personne a identifié une limite. Associez-les à une évaluation par tâches, à des preuves de révision et à des décisions d’amélioration.