Test et amélioration des instructions génératives

Objectifs de formation

Une fois cette unité terminée, vous pourrez :

• Appliquer un cycle d’itération en sept étapes pour affiner les instructions génératives
  
• Tester les instructions génératives avec des données réelles
  
• Identifier et corriger les problèmes courants liés aux instructions génératives
  
• Déployer et surveiller en production les instructions génératives
  
• Améliorer en continu les instructions génératives en fonction des résultats
  

Le cycle d’itération en sept étapes

Même les meilleures recettes passent par plusieurs phases de test. La première fois que vous préparez un soufflé, il risque de retomber. Vous ajustez alors la température, affinez la technique et recommencez. Le processus d’itération des instructions génératives fonctionne exactement de la même manière : vous réussissez rarement du premier coup, et cela est tout à fait normal. Le cycle en sept étapes ci-dessous vous présente un processus reproductible permettant d’atteindre le résultat souhaité.

Le test et l’amélioration des instructions génératives sont des processus continus. Suivez ces sept étapes :

1. Rédaction. Créez votre instruction générative initiale en employant les six composantes.
   
2. Test. Exécutez-la avec des données d’exemple et des scénarios réels.
   
3. Évaluation. Mesurez les résultats par rapport à vos critères de réussite.
   
4. Identification des problèmes. Déterminez ce qui a fonctionné et ce qui n’a pas fonctionné.
   
5. Affinage. Ajustez votre instruction générative en fonction de ce que vous avez appris.
   
6. Nouveau test. Exécutez l’instruction générative affinée avec les mêmes exemples de données.
   
7. Déploiement. Une fois que tout fonctionne correctement, procédez au déploiement en production.
   

Suivez ces étapes dans l’ordre, mais n’hésitez pas à revenir en arrière. L’itération n’est pas le signe d’un échec : c’est grâce à ce processus que de bonnes instructions génératives deviennent excellentes.

Exemple de génération d’e-mail : de la version initiale à la version finale

Voici comment fonctionne le cycle d’itération en pratique :

Instruction générative initiale (Version 1) :

Write a follow-up email to a customer
Customer: Sarah
Issue: Billing problem
Status: Resolved

Résultat du test : l’e-mail est générique et ne semble pas personnel.

Instruction générative affinée (Version 2) :

Write a follow-up email to Sarah who had a billing issue
Include:
- Apology
- Explanation of what happened
- What we did to fix it
Tone: Professional and empathetic

Résultat du test : c’est mieux, mais il manque encore des informations au sujet de la résolution effective.

Instruction générative finale (Version 3) :

Role: You are a customer service manager
Context: Sarah is a 2-year customer who experienced a billing error. We discovered we overcharged her $150 due to a system error on her third billing cycle. We've issued a full refund and applied a $50 loyalty credit.
Task: Write a follow-up email thanking her for her patience and restoring confidence
"""
Customer: Sarah
Issue: Billing error ($150 overcharge)
Our action: Full refund issued, $50 loyalty credit applied
Customer's response so far: Frustrated but cooperative
"""
Instructions:
- Start with a sincere apology
- Explain the root cause (system error on our part, not her mistake)
- Confirm the refund and loyalty credit
- Thank her for giving us a chance to fix it
- Mention one way we're improving our billing system
- Include a discount code for her next purchase (15% off)
Tone: Warm, professional, genuinely apologetic
Format: Email with subject line
Constraints: Keep body under 200 words

Résultat final : l’e-mail est personnel, précis et témoigne d’un véritable effort pour rétablir la relation. Sarah se sent écoutée et considérée.

Contraintes de Salesforce Platform

Avant que vous ne procédiez au déploiement, il est utile de comprendre comment Salesforce gère les sorties d’instructions génératives. Le type de champ que vous ciblez influe directement sur la façon dont vous concevez votre instruction générative. Une instruction générative qui génère un résumé de 500 mots ne tiendra pas dans un champ de texte standard. Le fait de connaître d’emblée de telles limites vous évite d’avoir à apporter des modifications à ce que vous avez conçu a posteriori.

Lors du déploiement d’instructions génératives dans Salesforce, tenez compte des limites de champ suivantes :

Champ de texte

• Limite de caractères : 255 caractères
  
• Cas d’utilisation : réponses courtes, résumés, sorties à ligne unique
  
• Limitation : ne convient pas au contenu long
  

Zone de texte longue

• Limite de caractères : 131 072 caractères (environ 20 000 mots)
  
• Cas d’utilisation : e-mails complets, descriptions détaillées, contenu à paragraphes multiples
  
• Avantage : offre suffisamment d’espace pour la plupart des cas d’utilisation
  

Zone de texte enrichi

• Limite de caractères : 131 072 caractères
  
• Cas d’utilisation : contenu avec mise en forme, listes, éléments mis en évidence
  
• Avantage : prend en charge le gras, l’italique, les puces et les listes numérotées
  
• Idéal pour : e-mails avec mise en forme, guides détaillés, contenu structuré
  

Conseil de déploiement : concevez votre instruction générative en tenant compte du champ cible. Si vous effectuez un déploiement vers un champ de texte, vous devez spécifier une contrainte indiquant de ne pas dépasser 255 caractères.

Surveillance et amélioration continue

Le déploiement n’est pas la ligne d’arrivée : c’est la ligne de départ. Le générateur d’instructions génératives dispose d’outils intégrés pour vous aider à surveiller les performances après la mise en production. Vous pouvez prévisualiser les instructions génératives avec de véritables entrées de données, suivre l’utilisation de jetons, surveiller le temps de réponse et comparer les résultats entre différents modèles ou versions. Utilisez ces outils pour détecter les problèmes rapidement et affiner vos instructions génératives en continu.

C’est un peu comme goûter son plat pendant qu’on le prépare : n’attendez pas qu’il soit dans l’assiette pour découvrir qu’il y a un problème.

Soyez attentif aux signaux suivants, qui indiquent qu’une instruction générative nécessite votre attention :

• Des sorties incohérentes pour des entrées similaires
  
• Des réponses qui semblent génériques ou qui passent à côté de l’aspect essentiel
  
• Des sorties tronquées ou incomplètes
  
• Des temps de réponse notablement longs
  
• Des commentaires des utilisateurs indiquant que la sortie n’est pas utile
  

Si vous constatez des problèmes, revenez en arrière pour affiner votre instruction générative et recommencer.

Problèmes courants liés aux instructions génératives et comment les résoudre

Même les instructions génératives bien conçues peuvent rencontrer des problèmes. Voici les problèmes les plus courants et comment les résoudre :

Liste de contrôle de déploiement

Utilisez cette liste de contrôle avant de déployer en production une instruction générative pour vous assurer qu’elle est prête à être utilisée en conditions réelles.

• Testée avec au moins 20 exemples représentatifs.
  
• Critères de réussite clairement définis et atteints.
  
• Modèle sélectionné et testé (pas de suppositions).
  
• L’instruction générative respecte la structure en six composantes.
  
• Contraintes de taille de champ vérifiées.
  
• Cas d’utilisation complexes identifiés et traités.
  
• Documentation rédigée pour l’instruction générative.
  
• Métriques de réussite définies pour la surveillance.
  
• Existence d’une stratégie pour recueillir les commentaires des utilisateurs.
  
• Planification de la surveillance et de l’amélioration définie.
  

Une fois le déploiement effectué, faites de l’amélioration continue une partie intégrante de votre processus de fonctionnement. Les meilleures instructions génératives évoluent au fil du temps en fonction de l’utilisation en conditions réelles.