Affinage de vos agents à l’aide d’une stratégie de test en cinq étapes

Objectifs de formation

Une fois cette unité terminée, vous pourrez :

• Expliquer pourquoi il est important d’avoir une stratégie de test avant de commencer à tester vos agents
  
• Décrire la stratégie en cinq étapes pour tester vos agents
  

Pourquoi suivre une stratégie de test ?

Les tests d’agents constituent la base du déploiement d’agents fiables et de confiance. Les outils de Studio Agentforce offrent divers moyens de vous assurer que votre agent effectue les tâches pour lesquelles vous l’avez conçu. Comme vous l’avez appris dans l’unité précédente, il peut s’avérer difficile de tester minutieusement les nombreuses façons dont un utilisateur peut interagir avec un agent. Compte tenu du grand nombre de variables en jeu, il est judicieux de mettre en place une stratégie de test avant de commencer. Dans cette unité, vous apprendrez à tester votre agent après l’avoir affiné dans le générateur Agentforce.

Une stratégie en cinq étapes pour tester vos agents

La boucle de test d’agent IA est une stratégie étape par étape qui vous guide dans le processus d’ajustement de vos agents afin qu’ils soient prêts pour vos utilisateurs. Vous créez des scénarios de test, sélectionnez des métriques d’évaluation et exécutez des tests automatisés. Vous validez ensuite les résultats et utilisez les commentaires pour affiner certaines parties des agents afin d’améliorer leur précision et leurs performances.

Étape 1 : identification des scénarios de test et création de données test

Après avoir testé manuellement diverses entrées utilisateur dans le panneau Preview (Aperçu) et révisé votre agent en fonction des réponses, vous êtes prêt à tester votre agent par lot dans les suites de tests (bêta). La première étape du test par lot consiste à identifier les types d’entrées que vous souhaitez tester. Vous pouvez créer vos propres scénarios de test en les rédigeant en langage naturel et les charger, ou vous pouvez cliquer sur Create test suite (Créer une suite test) dans les suites de tests (bêta) pour utiliser l’IA afin de générer des scénarios de test pour vous en utilisant les métadonnées de votre agent et les données auxquelles il est autorisé à accéder. Que vous écriviez vous-même les scénarios de test ou que vous demandiez à l’IA de les générer, il est utile de savoir ce qui fait un bon scénario de test. Examinons cela de plus près.

Lorsque vous avez planifié votre agent, vous avez défini sa portée et ses capacités. Par exemple, notre agent de service Coral Cloud inclut les sous-agents et actions suivants qui définissent certaines des tâches et opérations qu’il traitera en matière d’expériences.

• Le sous-agent Experience Management (Gestion de l’expérience) traite les demandes des clients liées à la réservation d’expériences auprès de Coral Cloud Resorts, y compris les réservations, la modification des réservations de session et les demandes de renseignements sur les détails d’une expérience.
  
• L’action Create Experience Session Booking (Créer une expérience de réservation de session) utilise un flux pour créer une expérience à laquelle un ou plusieurs clients sont inscrits.
  

Pour vous aider à élaborer de bons scénarios de test, dans le générateur Agentforce, passez en revue les sous-agents de votre agent, y compris les champs Classification Description (Description de la classification) et Scope (Portée) qui décrivent les capacités et les paramètres dans le cadre desquels votre agent doit opérer. Examinez également chaque instruction qui guide la manière dont l’agent travaille. Ensuite, écrivez (ou générez dans les suites de tests [bêta]) des entrées qui testent ces détails afin de vous assurer que votre agent agit de manière fiable dans chaque scénario. Par exemple, pour le sous-agent Experience Management (Gestion des expériences) que nous avons décrit, les éléments suivants pourraient faire partie de vos scénarios de test.

• Parle-moi de l’expérience _____________.
  
• As-tu des réservations pour l’expérience _____________ en juillet ?
  
• J’ai besoin de modifier ma réservation.
  
• Je voudrais confirmer ma réservation.
  

Afin de tester votre agent de manière approfondie, vous avez besoin d’un certain nombre de scénarios couvrant tous les types d’entrées. Un bon ensemble d’entrées test présente les caractéristiques décrites ci-dessous.

• Volume : un nombre suffisant de scénarios de test qui permet de garantir la couverture de différents scénarios et cas d’utilisation complexes.
  
• Diversité : un large éventail d’entrées, de contextes et de variantes qui testent l’adaptabilité de votre agent dans des cas d’utilisation réels, y compris des entrées qui ne relèvent pas de la portée de l’agent ou qui peuvent mettre ses garde-fous à l’épreuve.
  
• Qualité : des scénarios de test bien définis, précis et pertinents, alignés sur les objectifs de l’agent.
  

Les suites de test (bêta) utilisent des fichiers .csv pour stocker leurs scénarios de test. Si vous écrivez vos propres entrées test, vous créerez votre propre fichier .csv, ou si vous demandez à l’IA de générer des entrées test, vous pourrez charger ces tests dans un fichier .csv et les utiliser tels quels, ou les modifier.

Nous vous recommandons de commencer les tests en générant 10 ou 20 scénarios de test dans les suites de tests (bêta), puis en téléchargeant le fichier .csv pour examiner les scénarios par rapport aux paramètres de votre agent. Cela peut vous faire gagner du temps. Vous pouvez par ailleurs réviser ces scénarios pour les aligner sur les types d’entrées que vous attendez de vos utilisateurs et en ajouter d’autres. À mesure que les performances de votre agent s’améliorent, vous pouvez générer des lots plus importants de scénarios de test.

Étape 2 : définition des paramètres d’évaluation

Les scénarios de test générés par les suites de tests (bêta) incluent les paramètres que vous sélectionnez à mesure que vous êtes guidé à travers les quatre écrans du workflow New Test (Nouveau test). Après avoir fourni des informations de base concernant votre test, telles que son nom et l’agent que vous testez, vous pouvez choisir d’inclure des variables de contexte qui simulent des informations sur l’utilisateur ou le contexte de la conversation. Vous choisissez également la manière dont les suites de tests (bêta) évaluent les performances et la qualité de l’agent. Il est judicieux de tester toutes les options des critères d’évaluation afin de vous assurer que votre agent est fiable et performant.

Cliquez sur Suivant ou sur Précédent sous la zone bleue ci-après pour consulter les quatre étapes de génération de scénarios de test d’agent.

Lorsque vous terminez le workflow New Test (Nouveau test) et que vous cliquez sur Generate Test Cases (Générer des scénarios de test), une liste de tests correspondant aux critères que vous avez sélectionnés s’affiche. Si vous avez chargé un fichier .csv contenant des entrées test que vous avez rédigées, vous verrez ces dernières dans la liste. Un scénario de test valide la manière dont l’agent traite les entrées, appelées « énoncés ». Chaque scénario de test comprend les éléments suivants :

• Utterance (Énoncé) : requête d’entrée adressée à l’agent
  
• Expected Subagent (Sous-agent attendu) : sous-agent pertinent que l’agent doit évaluer
  
• Expected Actions (Actions attendues) : actions associées que l’agent doit exécuter
  
• Expected Response (Réponse attendue) : résultat souhaité décrit en langage simple
  

Étape 3 : exécution des tests et évaluation des résultats

Une fois que vous avez terminé le workflow New Test (Nouveau test), cliquez sur Run Test Suite (Exécuter la suite de tests) pour exécuter les tests et voir leurs résultats. Vous pouvez examiner les résultats des tests pour la réponse réelle de l’agent et pour chacun des critères d’évaluation que vous avez sélectionnés dans le workflow New Test (Nouveau test).

Étape 4 : validation de vos résultats

Bien que les tests générés couvrent de nombreux scénarios et vous indiquent s’ils sont réussis ou non, il est important qu’un humain passe en revue les réponses afin de s’assurer qu’elles correspondent à la manière dont les utilisateurs interagissent avec l’agent, la manière dont l’agent devrait répondre et qu’elles ne produisent pas de résultats toxiques ou indésirables. L’analyse des entrées et des réponses à cette étape permet également de déceler des subtilités qui auraient pu passer inaperçues, telles que des incohérences de ton ou des inexactitudes liées au contexte.

Étape 5 : examen de vos résultats et itération

N’oubliez pas que les tests sont un processus itératif. Vous utilisez les résultats des tests pour affiner vos sous-agents, vos actions et vos instructions jusqu’à atteindre le niveau de précision que vous jugez acceptable. Les tests peuvent également aider à mettre en évidence les données obsolètes auxquelles votre agent a accès, ou des autorisations qui doivent être ajustées.

Renouvellement des tests pour vos agents

Au même titre que votre entreprise, les agents évoluent. Il est donc important de procéder à de nouveaux tests afin de garantir une précision et une fiabilité constantes. De nombreux facteurs peuvent influer sur les performances de vos agents, notamment les modifications apportées aux données qu’ils utilisent, les autorisations, les mises à jour de leurs sous-agents, actions ou instructions génératives, ou encore les modifications apportées aux fonctionnalités produit et processus métier associés. Des tests continus permettront à vos agents d’évoluer pour rester pertinents à mesure que vos objectifs commerciaux changent.

Conclusion

Les tests sont le fondement de la conception d’agents IA fiables, efficaces et dignes de confiance. En suivant une stratégie de test, vous vous assurez que vos agents Agentforce sont fiables et utiles à vos utilisateurs.

Ressources

• Administrateurs Salesforce : Garantie de la précision de l’IA : 5 étapes pour tester Agentforce
• Vidéo : Test d’un agent IA dans le centre de test Agentforce.

Scénario pour le questionnaire

Maria est administratrice Agentforce dans une grande chaîne hôtelière, Global Stay Resorts. Elle a été chargée d’affiner un agent IA conçu pour traiter les réservations client. L’agent a été testé manuellement dans le générateur Agentforce, et Maria est maintenant prête à mettre en œuvre une stratégie de test plus complète afin de garantir sa fiabilité et sa précision avant son lancement complet. Elle s’attache tout particulièrement à anticiper les différentes entrées utilisateur et à veiller à ce que les réponses de l’agent soient conformes à l’image de marque et aux processus métier de l’entreprise.