Testare e migliorare i prompt
Obiettivi di apprendimento
Al completamento di questa unità, sarai in grado di:
- Applicare un ciclo iterativo in sette fasi per perfezionare i prompt.
- Testare i prompt con dati reali.
- Individuare e risolvere i problemi comuni dei prompt.
- Distribuire e monitorare i prompt in produzione.
- Migliorare continuamente i prompt in base ai risultati.
Ciclo iterativo in sette fasi
Anche le migliori ricette richiedono diversi cicli di testing. La prima volta che prepari un soufflé, potrebbe sgonfiarsi: dovrai regolare la temperatura, affinare la tecnica e riprovare. L’iterazione dei prompt funziona esattamente allo stesso modo: raramente si ottiene il risultato desiderato al primo tentativo, ed è normale che sia così. Il seguente ciclo in sette fasi propone un processo ripetibile per raggiungere l’esito desiderato.
Testare e migliorare i prompt è un processo continuo. Segui queste sette fasi:
- Scrittura: crea il tuo prompt iniziale utilizzando i sei componenti.
- Testing: esegui il prompt con dati di esempio e scenari reali.
- Valutazione: misura i risultati rispetto ai tuoi criteri di riuscita.
- Identificazione dei problemi: identifica cosa ha funzionato e cosa no.
- Ottimizzazione: adatta il prompt in base a ciò che hai appreso.
- Nuovo testing: esegui il prompt ottimizzato con gli stessi dati di esempio.
- Distribuzione: quando il prompt funziona bene, inseriscilo in produzione.
Segui queste fasi nell’ordine indicato. Se necessario, puoi anche tornare indietro. L’iterazione non indica che qualcosa è andato storto: è il modo in cui un buon prompt diventa ottimo.
Esempio di generazione di email: dal prompt iniziale a quello finale
Ecco come funziona in pratica il ciclo iterativo:
Prompt iniziale (versione 1):
Write a follow-up email to a customer Customer: Sarah Issue: Billing problem Status: Resolved
Risultato del testing: l’email è generica e non sembra personale.
Prompt ottimizzato (versione 2):
Write a follow-up email to Sarah who had a billing issue Include: - Apology - Explanation of what happened - What we did to fix it Tone: Professional and empathetic
Risultato del testing: meglio, ma mancano ancora i dettagli sulla risoluzione effettiva.
Prompt ottimizzato (versione 3):
Role: You are a customer service manager Context: Sarah is a 2-year customer who experienced a billing error. We discovered we overcharged her $150 due to a system error on her third billing cycle. We've issued a full refund and applied a $50 loyalty credit. Task: Write a follow-up email thanking her for her patience and restoring confidence """ Customer: Sarah Issue: Billing error ($150 overcharge) Our action: Full refund issued, $50 loyalty credit applied Customer's response so far: Frustrated but cooperative """ Instructions: - Start with a sincere apology - Explain the root cause (system error on our part, not her mistake) - Confirm the refund and loyalty credit - Thank her for giving us a chance to fix it - Mention one way we're improving our billing system - Include a discount code for her next purchase (15% off) Tone: Warm, professional, genuinely apologetic Format: Email with subject line Constraints: Keep body under 200 words
Risultato finale: oltre a essere personale e specifica, l’email dimostra un impegno sincero per ripristinare la qualità della relazione. Sarah si sente ascoltata e apprezzata.
Vincoli di Salesforce Platform
Prima di distribuire il prompt, vale la pena capire in che modo Salesforce gestisce gli output dei prompt. Il tipo di campo che utilizzi influisce direttamente sulla progettazione del tuo prompt. Un prompt che genera un riepilogo di 500 parole non può essere inserito in un campo di testo standard. Conoscere questi limiti in anticipo ti evita di dover riprogettare tutto in un secondo momento.
Quando distribuisci prompt in Salesforce, tieni presenti i seguenti limiti dei campi:
Campo di testo
- Limite di caratteri: 255
- Utilizzo: risposte brevi, riepiloghi, output su una sola riga
- Limitazione: non utilizzabile per contenuti lunghi
Area di testo lungo
- Limite di caratteri: 131.072 (circa 20.000 parole)
- Utilizzo: email complete, descrizioni dettagliate, contenuto su più paragrafi
- Vantaggio: ampio spazio per la maggior parte dei casi d’uso
Area di testo RTF
- Limite di caratteri: 131.072
- Utilizzo: contenuto con formattazione, elenchi, enfasi
- Vantaggio: supporta grassetto, corsivo, elenchi puntati ed elenchi numerati
- Ideale per: email formattate, guide dettagliate, contenuti strutturati
Suggerimento per la distribuzione: progetta il tuo prompt tenendo presente il campo di destinazione. Se distribuisci il prompt su un campo di testo, il limite di caratteri sarà inferiore a 255.
Monitoraggio e miglioramento continuo
La distribuzione non è il traguardo, ma il punto di partenza. Il Generatore di prompt include strumenti integrati per aiutarti a monitorare le prestazioni dopo il go-live. Puoi visualizzare in anteprima i prompt con input di dati reali, monitorare l’utilizzo dei token, controllare i tempi di risposta e confrontare i risultati tra modelli o versioni diverse. Utilizza questi strumenti per individuare i problemi tempestivamente e apportare continuamente ottimizzazioni.
È come assaggiare un piatto mentre lo stai cucinando: meglio non aspettare di portarlo a tavola per scoprire che qualcosa è andato storto.
Tieni d’occhio questi segnali che indicano che un prompt richiede attenzione:
- Output non coerenti tra input simili
- Risposte che sembrano generiche o non colgono il punto
- Output troncati o tagliati
- Tempi di risposta sensibilmente rallentati
- Commenti degli utenti che indicano che l’output non è utile
Se noti dei problemi, perfeziona il prompt e ripeti.
Problemi comuni relativi ai prompt e relative risoluzioni
Anche i prompt ben progettati possono incorrere in problemi. Ecco i problemi più comuni con indicazioni su come affrontarli:
Problema | Sintomo | Correzione |
|---|---|---|
Troppo vago | Output generico e poco utile | Aggiungere maggiori dettagli nella descrizione dell’operazione e nelle istruzioni |
Troppo lungo | Risposte lente o troncate | Suddividere in prompt più piccoli e mirati |
Istruzioni contrastanti | Output incoerenti | Rilevare le eventuali contraddizioni e semplificare |
Tipo di campo errato | L’output viene tagliato | Adattare l’output del prompt alle dimensioni del campo di destinazione |
Dati ripetuti | Risultati imprevisti o incoerenti | Applicare il principio del riferimento unico |
Elenco di controllo per la distribuzione
Usa questo elenco di controllo prima di distribuire qualsiasi prompt in produzione per assicurarti che sia pronto per essere utilizzato nel mondo reale.
- Prompt testato con almeno 20 esempi rappresentativi.
- Criteri di riuscita chiaramente definiti e soddisfatti.
- Modello selezionato e testato (non ipotizzato).
- Il prompt segue la struttura a sei componenti.
- Vincoli di dimensioni del campo verificati.
- Casi limite identificati e gestiti.
- Documentazione scritta per il prompt.
- Metriche di riuscita definite per il monitoraggio.
- Piano predisposto per raccogliere i feedback degli utenti.
- Pianificazione del monitoraggio e dell’ottimizzazione definita.
Una volta distribuito il prompt, considera il miglioramento continuo come parte integrante del processo. I migliori prompt evolvono nel tempo in base all’utilizzo nel mondo reale.