Perfezionare gli agenti usando una strategia di test in cinque passaggi
Obiettivi di apprendimento
Al completamento di questa unità, sarai in grado di:
- Spiegare perché è importante avere una strategia di testing prima di iniziare a testare un agente.
- Descrivere la strategia in cinque passaggi per testare gli agenti.
Perché attenersi a una strategia di test?
Eseguire test sugli agenti è fondamentale per rilasciare agenti affidabili. Gli strumenti di Agentforce Studio offrono diversi modi di assicurarsi che gli agenti gestiscano le operazioni che hai pianificato. Come abbiamo visto nell’unità precedente, testare in modo completo i molti modi in cui un utente può interagire con un agente può rappresentare una vera sfida. Con così tante variabili in gioco, è opportuno avere a disposizione una strategia di testing prima di iniziare. In questa unità scoprirai come testare il tuo agente dopo averlo perfezionato nel Generatore Agentforce.
Una strategia in cinque passaggi per testare gli agenti
Il ciclo di testing degli agenti IA è una strategia passo-passo che ti guida nella messa a punto dei tuoi agenti in modo che siano pronti per gli utenti. Si creano gli scenari di test, si selezionano le metriche di valutazione ed si eseguono test automatizzati. Successivamente, si convalidano i risultati e si utilizza il feedback per rifinire ulteriormente parti del tuo agente per migliorarne l’accuratezza e le prestazioni.
Passaggio 1: identificare gli scenari e creare i dati di test.
Dopo aver testato manualmente una serie di input utente nel riquadro Conversation Preview (Anteprima conversazione) e aver modificato l’agente in base a tali risposte, puoi iniziare a testare l’agente in batch nel Centro test. Il primo passaggio nell’esecuzione di test in batch è identificare i tipi di input da testare. Puoi creare e caricare i tuoi scenari di test scrivendoli in linguaggio naturale oppure chiedere al Centro test di utilizzare l’IA per generare casi di test utilizzando i metadati dell’agente e i dati a cui l’agente può accedere. Sia che tu scriva gli scenari di test autonomamente o chieda all’IA di generarli, è utile sapere cosa ti permette di creare uno scenario di test efficace, quindi diamo un’occhiata.
Quando hai pianificato l’agente, ne hai definito l’ambito e le funzionalità. Ad esempio, il nostro agente per le prenotazioni include i seguenti argomenti e azioni che definiscono alcuni dei processi e delle attività che l’agente gestirà in merito alle prenotazioni.
- L’argomento Reservation Management (Gestione delle prenotazioni) gestisce operazioni come la conferma di prenotazioni e itinerari e la creazione di nuove prenotazioni o la modifica di prenotazioni già esistenti.
- L’azione Create or Update Reservation (Crea o aggiorna prenotazione) crea una nuova prenotazione se non ne esiste una. Oppure, se è stata apportata una modifica a una prenotazione esistente, aggiorna il record dell’ospite.
Per ottenere scenari di test efficaci, in Generatore Agentforce rivedi gli argomenti dell’agente, inclusi i campi Classification Description (Descrizione classificazione) e Scope (Ambito) che descrivono le funzionalità e i parametri entro i quali deve operare l’agente. Rivedi anche ogni istruzione che stabilisce in che modo si comporta l’agente. Poi scrivi (o genera nel Centro test) un input che esegua un test usando questi dettagli per assicurarti che l’agente operi in modo affidabile in ogni scenario. Ad esempio, per l’argomento Reservation Management (Gestione delle prenotazioni) che abbiamo descritto, questi potrebbero essere alcuni scenari di test.
- I’d like to make a reservation. (Vorrei fare una prenotazione.)
- Do you have any openings in July? (Avete disponibilità a luglio?)
- I need to change my reservation. (Devo modificare la mia prenotazione.)
- I’d like to confirm my reservation. (Vorrei confermare la mia prenotazione.)
Per testare meticolosamente l’agente sono necessari un certo numero di scenari che assicurino la copertura per tutti i tipi di input. Un buon insieme di input di test è caratterizzato da questi attributi.
-
Volume: un numero sufficiente di casi di test per garantire la copertura di diversi scenari e casi limite.
-
Diversità: un’ampia gamma di input, contesti e variazioni per testare l’adattabilità dell’agente IA in molti casi d’uso del mondo reale, inclusi input che non rientrano nell’ambito dell’agente o che possono mettere in difficoltà le salvaguardie dell’agente.
-
Qualità: casi d’uso ben definiti, accurati e pertinenti allineati con gli obiettivi dell’agente.
Il Centro test memorizza i propri scenari di test in file CSV. Se scrivi i tuoi input di test, creerai il tuo file CSV, se chiedi all’IA di generare gli input di test, potrai scaricare tali test in un file CSV e modificarli. Il video Testare un agente IA nel Centro test Agentforce spiega in che modo funziona il Centro test Agentforce.
Ti consigliamo di iniziare a eseguire i test generando 10 o 20 scenari di test nel Centro test, quindi scaricando il file CSV per confrontarlo con i parametri dell’agente. In questo modo risparmi tempo e potrai rivedere questi scenari e aggiungerne altri per allinearti ai tipi di input che ti aspetti dagli utenti. Man mano che le prestazioni dell’agente migliorano, potrai generare batch di scenari di test più grandi.
Passaggio 2: impostare i parametri di valutazione.
I casi di test generati dal Centro test includono le impostazioni che selezioni mentre segui le indicazioni che ti guidano attraverso le quattro schermate del flusso di lavoro New Test (Nuovo test). Dopo aver fornito le informazioni di base sul test, come il nome e l’agente che stai testando, puoi scegliere di includere variabili di contesto che simulano le informazioni sull’utente o il contesto della conversazione. Puoi anche decidere in che modo il Centro test valuta le prestazioni e la qualità dell’agente. È una buona idea testare tutte le opzioni relative ai criteri di valutazione per assicurarti che l’agente sia affidabile e offra prestazioni ottimali.
Fai clic su Next (Avanti) o Previous (Indietro) sotto il riquadro blu per visualizzare i quattro passaggi per generare i casi di test degli agenti.
Dopo aver completato il flusso di lavoro New Test (Nuovo test), se fai clic su Generate Test Cases (Genera casi di test), vedrai un elenco di test che corrispondono ai criteri che hai selezionato. Se hai caricato un file CSV di input di test che hai scritto, li vedrai nell’elenco. Un caso di test convalida il modo in cui l’agente elabora gli input, a cui si fa riferimento come enunciazioni. Ogni caso di test include:
-
Enunciazione: la query di input all’agente
-
Argomento previsto: l’argomento pertinente che l’agente deve valutare
-
Azioni previste: le azioni correlate che l’agente deve eseguire
-
Risposta prevista: il risultato desiderato descritto in linguaggio naturale
Passaggio 3: eseguire i test e valutare i risultati.
Dopo aver completato il flusso di lavoro New Test (Nuovo test), fai clic su Run Test Suite (Esegui suite di test) per eseguire i test e verificarne le prestazioni. I risultati dei test possono essere esaminati nei campi Actual Topic (Argomento effettivo), Topic Test Result (Risultato test argomento), Actual Actions (Azioni effettive), Action Test Result (Risultato test azione) e Actual Response (Risposta reale).
Passaggio 4: convalidare i risultati.
Benché i test generati gestiscano molti scenari, è importante che una persona verifichi le risposte per assicurarsi che siano in linea con il modo in cui l’agente deve rispondere e che non producano risultati tossici o indesiderati. Rivedere gli input e le risposte in questo passaggio può anche aiutare a individuare sottigliezze sfuggite, come incongruenze di tono o imprecisioni specifiche del contesto.
Passaggio 5: rivedere i risultati ed eseguire iterazioni.
Ricorda che l’esecuzione di test è un processo iterativo. I risultati dei test possono essere utilizzati per rifinire argomenti, azioni e istruzioni finché non si raggiunge un livello di accuratezza soddisfacente. I test possono anche rivelare la presenza di dati non aggiornati a cui l’agente può accedere o autorizzazioni che richiedono modifiche.
Ripetere i test sugli agenti
Gli agenti si evolvono, proprio come la tua azienda, quindi ripetere i test per assicurare la continuità di accuratezza e affidabilità è importante. Esistono molti fattori che possono influire sulle prestazioni degli agenti, tra cui modifiche ai dati che utilizzano, autorizzazioni, aggiornamenti di argomenti, azioni o prompt oppure modifiche subite dalle funzionalità dei prodotti correlati o dei processi aziendali. Eseguire regolarmente dei test permetterà all’agente di evolvere e quindi di stare al passo con i cambiamenti degli obiettivi aziendali.
Conclusioni
I test sono la base della creazione di agenti IA affidabili, efficienti e sicuri. Seguendo una strategia di testing, è possibile assicurare che gli agenti Agentforce siano attendibili e utili per gli utenti.
Scenario del quiz
Maria è un amministratrice Agentforce presso una grande catena alberghiera, Global Stay Resorts. Le è stato chiesto di perfezionare un agente IA progettato per gestire le prenotazioni dei clienti. L’agente è stato testato manualmente nel Generatore Agentforce e Maria ora è pronta a implementare una strategia di test più completa per garantirne l’affidabilità e l’accuratezza prima del lancio definitivo. Maria si concentra in particolare sull’anticipazione dei vari input utente e sull’assicurare che le risposte dell’agente siano in linea con la voce del brand e i processi aziendali.