Definire le salvaguardie per l’agente

Obiettivi di apprendimento

Al completamento di questa unità, sarai in grado di:

Descrivere le salvaguardie che contribuiscono a garantire l’affidabilità di Agentforce.
Identificare i rischi potenziali associati al progetto Agentforce.
Stabilire strategie di mitigazione del rischio per il progetto.

Trailcast

Se vuoi ascoltare una registrazione di questo modulo, usa il player qui sotto. Quando hai finito, ricorda di tornare a ciascuna unità, consultare le risorse e completare le valutazioni associate.

I rischi dell’IA autonoma

Gli agenti IA autonomi sono strumenti incredibilmente potenti che possono portare valore all’organizzazione e migliorare l’esperienza del cliente, ma non sono esenti da rischi. Tra questi vi sono le minacce alla sicurezza, la violazione di dati, la perdita finanziaria, il bias, le allucinazioni e problemi di trasparenza e responsabilità.

Nonostante i rischi è possibile distribuire l’IA autonoma nell’organizzazione in modo sicuro. Con un’adeguata pianificazione e l’aiuto di Salesforce Platform, puoi creare e implementare un’intera suite di agenti IA fidati.

Agenti IA di cui potersi fidare

Nel modulo IA agentica affidabile hai visto che una delle funzionalità distintive di Agentforce è l’importanza attribuita alle misure di salvaguardia. Le salvaguardie stabiliscono i confini operativi per ciascun agente, delineando cosa può e non può fare. Usando il linguaggio naturale, puoi specificare le linee guida per il comportamento dell’agente e il modo in cui funziona.

Oltre alle salvaguardie dell’agente IA, l’Einstein Trust Layer integrato in Salesforce Platform assicura che le azioni eseguite dall’agente rispettino gli standard di sicurezza e conformità dell’azienda. Einstein Trust Layer include i meccanismi per il rilevamento della tossicità e del pericolo, per evitare che gli agenti siano coinvolti in attività improprie o dannose.

In questa unità seguiamo Nora mentre lavora assieme al Consiglio per l’IA di Coral Cloud per identificare i rischi associati al loro caso d’uso dell’IA autonoma e sviluppare un piano per affrontare quei rischi.

Non dimenticare la governance

Le salvaguardie Salesforce per gli agenti IA sono potenti e robuste, ma Nora sa che non tutte le misure di salvaguardia di Coral Cloud si trovano all’interno della tecnologia stessa. Ciò che accade al di fuori della tecnologia è altrettanto importante.

Quando Coral Cloud ha sviluppato la propria strategia per l’intelligenza artificiale, il team ha definito una pratica di governance dell’IA che lo aiuta a pianificare una strategia completa per la mitigazione del rischio per l’agente IA.

Vediamo un esempio di governance dell’IA: in Coral Cloud, il Consiglio per l’IA richiede che tutti i nuovi progetti di IA siano sottoposti a un esame della sicurezza. Si tratta di un processo aziendale, non di una funzionalità tecnologica, che aiuta a proteggere l’organizzazione dai rischi dell’IA. Nora pianifica l’esame della sicurezza in modo che l’azienda possa iniziare a pensare in modo più approfondito alle misure di salvaguardia e alla governance del progetto.

Vincere le obiezioni

In alcune organizzazioni può essere difficile affrontare il tema del rischio perché si pensa che le attività di mitigazione dei rischi rallentino il processo di sviluppo. Tuttavia, è fondamentale affrontare i rischi anticipandoli: altrimenti, il progetto di IA può essere cancellato prima ancora di entrare in produzione.

Integrando la gestione del rischio nella progettazione e nella creazione del prototipo di IA, è possibile accelerare i progetti e garantire che soddisfino i requisiti etici, legali, normativi e di sicurezza necessari. Se impari a gestire i rischi per un caso d’uso, potrai poi usare ciò che hai appreso per applicarlo al caso d’uso successivo e a quelli a venire.

Spiegare cos’è un agente e cosa può fare per l’azienda in termini non troppo tecnici può aiutare a costruire una base solida che potrai applicare a progetti futuri, garantendo implementazioni dell’IA sempre più fluide ed efficaci.

Come strutturare le conversazioni sul rischio

In che modo si possono affrontare le conversazioni sul rischio? Ti consigliamo di usare il framework People, Business, Technology, and Data (Persone, Business, Tecnologia e Dati) che probabilmente è noto a molte organizzazioni. Queste categorie e considerazioni possono essere utili per scovare criticità e rischi possibili relativi al tuo progetto Agentforce.

Categoria	Considerazioni
Persone	Valorizzazione: ruoli e responsabilità, assunzioni, formazione e aggiornamento professionale Cultura e pratica: progettazione dell’IA incentrata sull’uomo, gestione dei cambiamenti, adozione
Business	Valore: vantaggi, obiettivi, KPI e metriche Funzioni operative: struttura dell’organizzazione, gestione delle capacità. processi e flussi di lavoro, governance dell’IA, strategia DevOps
Tecnologia	Strumenti IA: infrastruttura IA, applicazioni, API, prompt, salvaguardie della sicurezza Modelli IA: selezione del modello, considerazioni sull’addestramento, gestione, costo
Dati	Qualità: idoneità all’uso, precisione, completezza, accessibilità, data recente e altro Strategia: gestione dei dati, infrastruttura, governance, statistiche

Un’infografica illustra i quattro quadranti del framework People, Business, Technology and Data.

Identificare i rischi e le criticità

Nora usa questo framework per discutere dei rischi e delle criticità legate al caso d’uso di gestione delle prenotazioni di Coral Cloud. Gli stakeholder del Consiglio per l’IA di Coral Cloud identificano i rischi e le criticità per ogni categoria. L’elenco non è esaustivo e ogni caso d’uso comporta rischi e criticità uniche.

Categoria	Rischi
Persone	Rifiuto: i clienti non vogliono parlare con l’agente perché non si fidano o perché non sono sicuri di essere autorizzati a usare l’IA. Abuso: i clienti sono ostili nei confronti dell’agente o cercano di manipolarlo. Cultura: i timori legati al potenziale impatto dell’IA sui posti di lavoro dell’assistenza influiscono sul morale dei dipendenti.
Business	Adeguatezza: l’ambito dell’agente non si inserisce correttamente nell’organizzazione del business o nei processi del team. Reportistica: i KPI correnti del team perdono validità a causa dell’introduzione di un agente IA che svolge parte del lavoro. Incentivi: le strutture di compensi e premi risentono del reindirizzamento del lavoro all’agente. Funzioni operative: il processo per l’inoltro non è chiaro, è inefficiente o frustrante. Performance dell’agente: le risposte dell’agente IA non sono influenzate in modo corretto dalle policy aziendali appropriate.
Tecnologia	Accuratezza: le allucinazioni diminuiscono la qualità delle risposte oppure la knowledge non è completa. Affidabilità: la variabilità delle risposte generate dall’agente è troppo ampia. Audit: le funzioni operative della tecnologia non riescono a monitorare l’accuratezza delle risposte dell’agente. Latenza: l’agente non riesce a fornire risposte tempestive.
Dati	Accesso: le autorizzazioni per i dati non sono comprese o applicate; i dati potrebbero essere visibili ai clienti. Privacy: i dati richiesti non possono essere usati ai sensi della policy sulla privacy. Compliance: non è chiaro se esistono vincoli contrattuali del cliente applicabili ai dati (ad esempio, se i dati non devono uscire dal Paese in cui ha sede l’attività del cliente). Idoneità allo scopo: i dati non sono allineati con l’obiettivo dell’agente oppure non sono in linea con il caso d’uso. Etica: il bias nei dati del modello potrebbe generare risposte inappropriate.

Nel caso di Nora, hai visto che le limitazioni negli articoli knowledge dell’azienda possono influire sulla strategia di adozione. Ma Coral Cloud potrebbe anche essere esposta a molti dei rischi indicati. In fin dei conti, se un agente non segue le policy del resort nelle sue risposte o se i dipendenti non hanno modo di monitorare l’utilità degli agenti, non è facile offrire un’esperienza a 5 stelle.

Definire strategie di mitigazione del rischio

Ora che il Consiglio per l’IA di Coral Cloud ha catalogato i rischi e le criticità, Nora e il suo team possono pensare a possibili strategie di mitigazione per ciascun rischio. Man mano che individuano potenziali salvaguardie, le classificano ad una ad una per assegnarle alla categoria persone, business, tecnologia o dati.

Ecco alcuni esempi di potenziali salvaguardie per due dei rischi identificati da Coral Cloud.

Categoria di rischio	Rischio	Potenziali salvaguardie
Persone	Rifiuto da parte del cliente: gli utenti non vogliono parlare con l’agente perché non si fidano.	Salvaguardia per le persone: crea una strategia di comunicazione e organizza briefing di formazione per i clienti. Salvaguardia per la tecnologia: progetta l’agente in modo che sia trasparente sul fatto che è un’intelligenza artificiale. Salvaguardia per la tecnologia: configura un messaggio per l’agente in cui sia chiaro quali sono le sue capacità e come può essere d’aiuto.
Business	Problemi di inoltro al livello superiore: gli inoltri dall’agente all’operatore non sono coerenti, sono inefficienti o frustranti per i clienti.	Salvaguardia per il business: stabilisci i criteri e il contesto per l’inoltro dall’IA agli operatori. Salvaguardia per la tecnologia: configura Agentforce in modo che l’operatore riceva un riepilogo dell’interazione precedente dell’agente IA. Salvaguardia per la tecnologia: nelle istruzioni per l’agente descrivi chiaramente eventuali parole chiave, linguaggio o richieste che devono innescare l’inoltro al livello superiore.

Nora ha già pronto un piano per restringere l’ambito di implementazione della gestione delle prenotazioni. Ma può anche fare qualcosa per creare le giuste aspettative per i clienti che chiedono all’agente informazioni sul business. In questo caso, potrebbe bastare aggiungere una liberatoria al messaggio di benvenuto dell’agente in cui si specifica che l’agente è progettato per rispondere alle domande relative alla prenotazione. E magari includere una freccia che rimanda al luogo migliore per trovare informazioni su altri servizi.

Documentare e sperimentare

Dopo aver completato l’esercizio di mitigazione del rischio, Nora e il Consiglio per l’IA documentano i rischi e le salvaguardie per il caso d’uso. Mettere nero su bianco le attività di mitigazione del rischio di Coral Cloud è importante ai fini della conformità normativa ed è utile per gli audit interni.

Ricorda che l’iterazione è importante tanto quanto la documentazione. Per avere la certezza che le tue salvaguardie tecnologiche siano efficaci, entra nell’ambiente sandbox e prova a configurare le salvaguardie in Agentforce. Mettiti all’opera e guarda come si comportano le salvaguardie in diversi scenari. Questo approccio aiuta a identificare in tempo utile eventuali lacune o problemi e apportare le modifiche necessarie. Abbinando la documentazione alla sperimentazione pratica puoi sviluppare strategie di mitigazione del rischio per il tuo agente IA.

Ora che il piano di governance preliminare è pronto, Nora può passare a un altro componente fondamentale del progetto: descrivere il lavoro che verrà svolto dall’agente di Coral Cloud.

Tempo stimato

Argomenti

Hai bisogno di aiuto?

Risorse per Agentforce