Savoir demander à ChatGPT un e-mail au bon ton ne démontre pas qu’une personne sait décider si ce texte peut être envoyé à un client. Un brouillon apparemment correct peut contenir une date non confirmée, une condition commerciale inexistante, une promesse opérationnelle hors périmètre ou des informations qu’il convient de ne pas partager. La compétence qu’il importe d’observer n’est pas seulement la rédaction : c’est la révision humaine avant d’utiliser le résultat.
Une formation à ChatGPT peut vérifier cette compétence à l’aide d’un test bref et sûr fondé sur des cas fictifs. Chaque participant reçoit une demande simulée, une source interne créée pour l’exercice et un brouillon délibérément imparfait. Il doit ensuite le corriger, expliquer ses décisions et signaler les aspects nécessitant une validation. L’évaluation porte ainsi sur le jugement appliqué au poste, et non sur le nombre de prompts utilisés.
Le problème : un texte fluide peut rester inadapté
L’IA générative peut aider à structurer une réponse, résumer les informations fournies ou proposer un ton initial. Toutefois, la documentation de ChatGPT recommande de réviser, corriger et vérifier les réponses avant de les utiliser ou de les partager. Dans une communication commerciale ou de service client, cette révision doit vérifier que chaque affirmation pertinente est étayée par les informations disponibles et qu’une supposition ne se transforme pas en engagement vis-à-vis du client. [1]
Par conséquent, un test ne devrait pas récompenser un e-mail plus long, plus persuasif ou plus élaboré. Il doit montrer si la personne supprime les affirmations non étayées, demande les données manquantes et distingue ce qu’elle peut communiquer de ce qu’elle doit faire remonter. Par exemple, si le brouillon affirme qu’un incident sera résolu vendredi, la réponse attendue n’est pas de conserver cette phrase parce qu’elle semble utile, mais de vérifier si la fiche du cas confirme ce délai.
Choisissez un cas unique et à faible risque pour chaque profil
Concevoir un exercice par fonction facilite l’observation de la révision. Pour les ventes, il peut s’agir d’une demande fictive de devis ; pour le service client, d’une mise à jour concernant un incident simulé ; et pour l’administration, d’une demande de documentation incomplète. Il est préférable de ne pas mélanger les trois postes dans un même test : chacun travaille avec des autorisations, un langage et des décisions différents.
Le cas doit rester dans le cadre de communications à faible risque. Il est préférable d’exclure les décisions contractuelles, les engagements financiers, les réclamations complexes ou les messages nécessitant une validation spécialisée. Exemple hypothétique : une cliente fictive demande si un service comprend une intégration précise. La fiche de l’exercice indique que cela doit être confirmé avec le responsable technique. Si ChatGPT rédige que l’intégration est incluse, la personne participante doit supprimer cette affirmation et proposer l’étape de validation suivante.
- Définissez un destinataire, un objectif et un contexte fictifs.
- Indiquez quelle personne ou quel rôle peut valider les prix, délais, périmètres ou conditions.
- Limitez le matériel à des données simulées et évitez de le connecter à des boîtes de réception, CRM ou automatisations réels.
Préparez un dossier de test avec une source autorisée
Le dossier peut inclure quatre éléments : le message initial du client fictif, une fiche interne à jour pour l’exercice, le brouillon généré par l’IA et une consigne de travail. La fiche interne constitue la source autorisée du test. Si une donnée n’y figure pas, la personne ne doit pas la compléter par intuition ni demander à l’outil de l’inventer : elle doit signaler qu’une confirmation est nécessaire.
Introduisez entre deux et quatre problèmes délibérés dans le brouillon afin que la tâche exige une révision et non une simple réécriture. Il peut s’agir d’une date non confirmée, d’un service inclus qui ne figure pas dans la fiche, d’une demande de données inutiles ou d’un ton peu adapté. Les fonctionnalités de ChatGPT peuvent varier selon l’abonnement, la plateforme, la région et la configuration de l’espace de travail ; le test doit donc évaluer un comportement de révision qui ne dépende pas d’une fonctionnalité spécifique de l’outil. [1]
- Incluez une consigne expresse de ne pas copier de données réelles de clients, d’opérations, de prix, d’identifiants ou de conversations intе
- Séparez visuellement la fiche autorisée du brouillon à réviser.
- Précisez que l’objectif est de détecter les limites et de corriger, et non d’obtenir une réponse apparemment parfaite.
Évaluez les décisions de révision à l’aide d’une grille simple
Une grille commune réduit la subjectivité et permet de comparer les exercices. Elle peut utiliser trois niveaux par critère : conforme, nécessite une correction et non conforme. Évaluez l’exactitude, l’identification des informations manquantes, le traitement prudent des données et l’utilité de la communication. Cette dernière dimension observe si la réponse adopte un ton approprié, explique l’étape suivante et s’adresse correctement à la personne destinataire.
Le cadre AI RMF du NIST propose de définir des mesures liées au contexte d’utilisation et de documenter les jeux de test, les méthodes et les résultats d’évaluation. Appliqué à cette formation, il est utile de conserver le cas utilisé, la version initiale, la version révisée, la grille et une brève note indiquant le motif de chaque modification. Il ne s’agit pas de transformer l’exercice en audit complexe, mais de disposer d’éléments utiles pour améliorer la pratique. [3]
- Exactitude : corrige ou nuance ce que la fiche ne confirme pas.
- Informations manquantes : identifie ce qui manque avant de confirmer un prix, un délai, un périmètre ou une solution.
- Confidentialité et limites : supprime les données inutiles et indique quand consulter un responsable autorisé.
Comparez les versions et recommencez avec un nouveau cas
La comparaison entre le premier brouillon et la version révisée révèle mieux l’apprentissage qu’une évaluation du seul texte final. Demandez à chaque participant de signaler les modifications et d’expliquer, en une ou deux phrases, pourquoi elles ont été effectuées. Il devient ainsi possible de distinguer une correction de style d’une décision importante : retirer un engagement non autorisé, demander des informations supplémentaires ou orienter la demande vers le rôle chargé de l’approuver.
Réalisez un second test ultérieur avec un scénario différent, et non avec le même exercice mémorisé. Un responsable des ventes, du support ou de la qualité peut examiner un échantillon avec la personne formatrice, toujours sur des brouillons non envoyés ou des cas simulés. Le NIST envisage la participation d’experts du domaine et de personnes n’ayant pas directement développé la solution dans les processus d’évaluation. Les erreurs qui se répètent serviront à ajuster les exemples et les pratiques de la formation suivante. [3]
Questions fréquentes
Quelles erreurs est-il utile d’inclure dans un brouillon fictif généré avec ChatGPT ?
Incluez des erreurs que la personne peut détecter à l’aide de la fiche du cas : une date non confirmée, une condition non indiquée, une promesse hors périmètre, une demande d’informations inutiles ou une étape suivante mal attribuée. Évitez les scénarios à haut risque ou qui exigent une appréciation juridique, financière ou spécialisée.
Comment mesurer si la formation à ChatGPT a été transposée au poste de travail ?
Vous pouvez répéter l’évaluation avec un nouveau cas fictif et appliquer la même grille. Observez si la personne détecte les affirmations non étayées, demande des données avant de répondre et oriente les validations vers le responsable concerné. La comparaison doit servir à orienter les renforcements de formation, et non à promettre des résultats à
Faut-il utiliser des données réelles de clients pour évaluer la révision humaine ?
Non. Les données simulées réduisent l’exposition inutile d’informations et permettent de contrôler quelle réponse est étayée. De plus, dans des espaces de travail gérés, l’accès aux outils et aux données dépend des membres, des rôles, des autorisations et des politiques configurées ; l’authentification à elle seule ne remplace pas ces contrôles.