Affinage de vos agents à l’aide d’une stratégie de test en cinq étapes
Objectifs de formation
Une fois cette unité terminée, vous pourrez :
- Expliquer pourquoi il est important d’avoir une stratégie de test avant de commencer à tester vos agents
- Décrire la stratégie en cinq étapes pour tester vos agents
Pourquoi suivre une stratégie de test ?
Les tests d’agents constituent la base du déploiement d’agents fiables et de confiance. Les outils de Studio Agentforce offrent divers moyens de vous assurer que votre agent effectue les tâches pour lesquelles vous l’avez conçu. Comme vous l’avez appris dans l’unité précédente, il peut s’avérer difficile de tester minutieusement les nombreuses façons dont un utilisateur peut interagir avec un agent. Compte tenu du grand nombre de variables en jeu, il est judicieux de mettre en place une stratégie de test avant de commencer. Dans cette unité, vous apprendrez à tester votre agent après l’avoir affiné dans le générateur Agentforce.
Une stratégie en cinq étapes pour tester vos agents
La boucle de test d’agent IA est une stratégie étape par étape qui vous guide dans le processus d’ajustement de vos agents afin qu’ils soient prêts pour vos utilisateurs. Vous créez des scénarios de test, sélectionnez des métriques d’évaluation et exécutez des tests automatisés. Vous validez ensuite les résultats et utilisez les commentaires pour affiner certaines parties des agents afin d’améliorer leur précision et leurs performances.
Étape 1 : identification des scénarios de test et création de données test
Après avoir testé manuellement diverses entrées utilisateur dans le panneau Conversation Preview (Aperçu de la conversation) et révisé votre agent en fonction des réponses, vous êtes prêt à tester votre agent par lot dans le centre de test. La première étape du test par lot consiste à identifier les types d’entrées que vous souhaitez tester. Vous pouvez créer vos propres scénarios de test en les rédigeant en langage naturel et les charger, ou vous pouvez demander au centre de test d’utiliser l’IA afin de générer des scénarios de test pour vous en utilisant les métadonnées de votre agent et les données auxquelles il est autorisé à accéder. Que vous écriviez vous-même les scénarios de test ou que vous demandiez à l’IA de les générer, il est utile de savoir ce qui fait un bon scénario de test. Examinons cela de plus près.
Lorsque vous avez planifié votre agent, vous avez défini sa portée et ses capacités. Par exemple, notre agent de réservation inclut les rubriques et actions suivantes qui définissent certaines des tâches et opérations qu’il traitera en matière de réservations.
- La rubrique Reservation Management (Gestion des réservations) traite des tâches telles que la confirmation des réservations et des itinéraires, ainsi que la création ou la modification de réservations.
- L’action Create or Update Reservation (Créer ou mettre à jour une réservation) crée une réservation s’il n’en existe pas. Si une modification est apportée à une réservation existante, l’enregistrement du client est mis à jour.
Pour vous aider à élaborer de bons scénarios de test, dans le générateur Agentforce, passez en revue les rubriques de votre agent, y compris les champs Classification Description (Description de la classification) et Scope (Portée) qui décrivent les capacités et les paramètres dans le cadre desquels votre agent doit opérer. Examinez également chaque instruction qui guide la manière dont l’agent travaille. Ensuite, écrivez (ou générez dans le centre de test) des entrées qui testent ces détails afin de vous assurer que votre agent agit de manière fiable dans chaque scénario. Par exemple, pour la rubrique Reservation Management (Gestion des réservations) que nous avons décrite, les éléments suivants pourraient faire partie de vos scénarios de test.
- Je souhaiterais effectuer une réservation.
- Avez-vous des chambres disponibles en juillet ?
- J’ai besoin de modifier ma réservation.
- Je voudrais confirmer ma réservation.
Afin de tester votre agent de manière approfondie, vous avez besoin d’un certain nombre de scénarios couvrant tous les types d’entrées. Un bon ensemble d’entrées test présente les caractéristiques décrites ci-dessous.
-
Volume : un nombre suffisant de scénarios de test qui permet de garantir la couverture de différents scénarios et cas d’utilisation complexes.
-
Diversité : un large éventail d’entrées, de contextes et de variantes qui testent l’adaptabilité de votre agent dans des cas d’utilisation réels, y compris des entrées qui ne relèvent pas de la portée de l’agent ou qui peuvent mettre ses garde-fous à l’épreuve.
-
Qualité : des scénarios de test bien définis, précis et pertinents, alignés sur les objectifs de l’agent.
Le centre de test utilise des fichiers .csv pour stocker ses scénarios de test. Si vous écrivez vos propres entrées test, vous créerez votre propre fichier .csv, ou si vous demandez à l’IA de générer des entrées test, vous pourrez charger ces tests dans un fichier .csv et les modifier. La vidéo Test d’un agent IA dans le centre de test Agentforce vous montre comment fonctionne le centre de test Agentforce.
Nous vous recommandons de commencer les tests en générant 10 ou 20 scénarios de test dans le centre de test, puis en téléchargeant le fichier .csv pour examiner les scénarios par rapport aux paramètres de votre agent. Cela peut vous faire gagner du temps. Vous pouvez par ailleurs réviser ces scénarios pour les aligner sur les types d’entrées que vous attendez de vos utilisateurs et en ajouter d’autres. À mesure que les performances de votre agent s’améliorent, vous pouvez générer des lots plus importants de scénarios de test.
Étape 2 : définition des paramètres d’évaluation
Les scénarios de test générés par le centre de test incluent les paramètres que vous sélectionnez à mesure que vous êtes guidé à travers les quatre écrans du workflow New Test (Nouveau test). Après avoir fourni des informations de base concernant votre test, telles que son nom et l’agent que vous testez, vous pouvez choisir d’inclure des variables de contexte qui simulent des informations sur l’utilisateur ou le contexte de la conversation. Vous choisissez également la manière dont le centre de test évalue les performances et la qualité de l’agent. Il est judicieux de tester toutes les options des critères d’évaluation afin de vous assurer que votre agent est fiable et performant.
Cliquez sur Suivant ou sur Précédent sous la zone bleue ci-après pour consulter les quatre étapes de génération de scénarios de test d’agent.
Lorsque vous terminez le workflow New Test (Nouveau test) et que vous cliquez sur Generate Test Cases (Générer des scénarios de test), une liste de tests correspondant aux critères que vous avez sélectionnés s’affiche. Si vous avez chargé un fichier .csv contenant des entrées test que vous avez rédigées, vous verrez ces dernières dans la liste. Un scénario de test valide la manière dont l’agent traite les entrées, appelées « énoncés ». Chaque scénario de test comprend les éléments suivants :
-
Utterance (Énoncé) : requête d’entrée adressée à l’agent
-
Expected Topic (Rubrique attendue) : rubrique pertinente que l’agent doit évaluer
-
Expected Actions (Actions attendues) : actions associées que l’agent doit exécuter
-
Expected Response (Réponse attendue) : résultat souhaité décrit en langage simple
Étape 3 : exécution des tests et évaluation des résultats
Une fois que vous avez terminé le workflow New Test (Nouveau test), cliquez sur Run Test Suite (Exécuter la suite de tests) pour exécuter les tests et voir leurs résultats. Examinez les résultats du test dans les champs Actual Topic (Rubrique réelle), Topic Test Result (Résultat du test de rubrique), Actual Actions (Actions réelles), Action Test Result (Résultat du test des actions) et Actual Response (Réponse réelle).
Étape 4 : validation de vos résultats
Bien que les tests générés couvrent de nombreux scénarios, il est important qu’un humain passe en revue les réponses afin de s’assurer qu’elles correspondent à la manière dont l’agent devrait répondre et qu’elles ne produisent pas de résultats toxiques ou indésirables. L’analyse des entrées et des réponses à cette étape permet également de déceler des subtilités qui auraient pu passer inaperçues, telles que des incohérences de ton ou des inexactitudes liées au contexte.
Étape 5 : examen de vos résultats et itération
N’oubliez pas que les tests sont un processus itératif. Vous utilisez les résultats des tests pour affiner vos rubriques, vos actions et vos instructions jusqu’à atteindre le niveau de précision que vous jugez acceptable. Les tests peuvent également aider à mettre en évidence les données obsolètes auxquelles votre agent a accès, ou des autorisations qui doivent être ajustées.
Renouvellement des tests pour vos agents
Au même titre que votre entreprise, les agents évoluent. Il est donc important de procéder à de nouveaux tests afin de garantir une précision et une fiabilité constantes. De nombreux facteurs peuvent influer sur les performances de vos agents, notamment les modifications apportées aux données qu’ils utilisent, les autorisations, les mises à jour de leurs rubriques, actions ou instructions génératives, ou encore les modifications apportées aux fonctionnalités produit et processus métier associés. Des tests continus permettront à vos agents d’évoluer pour rester pertinents à mesure que vos objectifs commerciaux changent.
Conclusion
Les tests sont le fondement de la conception d’agents IA fiables, efficaces et dignes de confiance. En suivant une stratégie de test, vous vous assurez que vos agents Agentforce sont fiables et utiles à vos utilisateurs.
Scénario pour le questionnaire
Maria est administratrice Agentforce dans une grande chaîne hôtelière, Global Stay Resorts. Elle a été chargée d’affiner un agent IA conçu pour traiter les réservations client. L’agent a été testé manuellement dans le générateur Agentforce, et Maria est maintenant prête à mettre en œuvre une stratégie de test plus complète afin de garantir sa fiabilité et sa précision avant son lancement complet. Elle s’attache tout particulièrement à anticiper les différentes entrées utilisateur et à veiller à ce que les réponses de l’agent soient conformes à l’image de marque et aux processus métier de l’entreprise.