Guardrail e pattern di fiducia di Agentforce
Obiettivi di apprendimento
Al completamento di questa unità, sarai in grado di:
- Descrivere le salvaguardie della piattaforma.
- Descrivere le salvaguardie Agentforce.
- Spiegare come personalizzare le salvaguardie Agentforce.
- Spiegare i pattern di fiducia usati per creare gli agenti in Salesforce.
Trailcast
Se vuoi ascoltare una registrazione di questo modulo, usa il player qui sotto. Quando hai finito, ricorda di tornare a ciascuna unità, consultare le risorse e completare le valutazioni associate.
Garantire la fiducia con le salvaguardie
L’IA si sta evolvendo rapidamente. E con un cambiamento così rapido, è naturale provare una certa ansia. In Salesforce, il nostro team di prodotto e l’Ufficio dell’Uso Etico e Umano (OEHU) riconoscono che mantenere la fiducia verso i nostri prodotti è imprescindibile e stanno affrontando i rischi e le problematiche dell’IA agentica in questo modo:
- Identificando i controlli necessari per la creazione di un agente affidabile
- Creando una strategia di test
- Aggiungendo salvaguardie etiche nei prodotti
- Fornendo indicazioni di carattere etico più utili ai clienti
La creazione di queste salvaguardie nei prodotti e la disponibilità di informazioni chiare sull’etica aiutano le aziende a gestire la tecnologia IA in modo responsabile, mantenendo le cose protette e affidabili per tutti.
Vediamo alcuni dettagli, iniziando dalle salvaguardie della piattaforma, che forniscono controlli globali in tutti i nostri prodotti.
Salvaguardie della piattaforma
Salesforce include un insieme esaustivo di policy, linee guida e protocolli progettati per assicurare il controllo sicuro, etico e conforme sulla piattaforma. Le salvaguardie includono:
-
Policy di utilizzo accettabile (AUP): regole generali per l’uso dei servizi Salesforce da parte dei clienti, che vietano attività che possono danneggiare la piattaforma o i suoi utenti.
-
Policy di utilizzo accettabile dell’IA (AI AUP): regole specifiche per l’uso delle tecnologie IA di Salesforce da parte dei clienti, che assicurano che i prodotti vengano usati in modo responsabile.
-
Policy di contenimento dei modelli: regole chiare relative alle modalità di utilizzo dei modelli IA. Queste regole garantiscono che i modelli IA vengano usati entro determinati limiti per impedire l’uso inappropriato ed eventuali effetti indesiderati.
Questi controlli creano un framework che assicura l’integrità, la sicurezza e il rispetto degli standard etici della piattaforma. Ad esempio, l’AUP stabilisce che non è possibile usare la piattaforma per lo spam o il phishing. L’AI AUP stabilisce che l’IA non può prendere decisioni importanti o in campo legale senza una persona che prenda la decisione finale. Le policy di contenimento dei modelli possono limitare i tipi di dati a cui può accedere un modello IA per impedire perdite o usi impropri dei dati.
Guardrail Agentforce
Le salvaguardie Agentforce sono un insieme di regole, linee guida e best practice create per un uso aziendale specifico di Salesforce Cloud o di un prodotto e per garantire che gli agenti seguano le leggi e gli standard locali. Agentforce include salvaguardie etiche per ridurre al minimo le allucinazioni IA e salvaguardie di sicurezza per impedire minacce e attacchi dannosi, come le iniezioni di prompt.

Tipo di agente
Salesforce fornisce agenti pronti all’uso per cloud specifici e casi d’uso comuni. I diversi tipi di agente possono avere impostazioni e salvaguardie distinte per definire il comportamento dell’agente. Ad esempio, il tipo Agentforce Service Agent (ASA, Agente dell’assistenza Agentforce) usa le istruzioni degli argomenti per determinare quando inoltrare una conversazione dall’agente IA a un agente umano. Il tipo di agente Sales Development Rep (SDR) usa regole di coinvolgimento definite dall’amministratore per le condizioni che determinano quando l’agente può iniziare a lavorare sul lead e come e quando è possibile inviare le email dell’agente.
Argomento, istruzioni dell’argomento e azioni
Ogni agente include un insieme di argomenti e azioni predefiniti.
Gli argomenti sono una categoria di azioni correlate a un determinato processo che deve essere eseguito dagli agenti. Gli argomenti contengono le azioni, ovvero gli strumenti disponibili per il processo, e le istruzioni, che indicano all’agente come prendere le decisioni. Insieme, gli argomenti definiscono la gamma di funzionalità che l’agente è in grado di gestire. Salesforce fornisce una libreria di argomenti standard per i casi d’uso comuni.
Le istruzioni degli argomenti impostano le linee guida per il comportamento dell’agente, fornendo il contesto necessario per eseguire i processi in modo efficace. Ogni argomento è una categoria di azioni correlata a un processo specifico, contenente azioni (strumenti) e istruzioni (linee guida per i processi decisionali). Le istruzioni aiutano gli agenti a prendere decisioni su come usare le azioni in un argomento per i diversi casi d’uso. Queste istruzioni in genere sono formulate così: “Sempre…”, “Mai…”, “Se x, allora y…” o “Per iniziare,…” per garantire un comportamento chiaro e coerente.
Le azioni sono il mezzo che consente agli agenti di svolgere il proprio lavoro. Gli agenti includono una libreria di azioni, ovvero un insieme di processi che un agente può svolgere. Ad esempio, se un utente chiede aiuto a un agente per scrivere un’email, l’agente avvia un’azione che crea una bozza dell’email, la rivede e la radica nei dati Salesforce pertinenti. Salesforce fornisce alcune azioni pronte all’uso, dette azioni standard. Il vantaggio di includere argomenti e azioni standard per impostazione predefinita è che l’agente è immediatamente pronto ad aiutare gli utenti a svolgere molte operazioni comuni.
Personalizzare le salvaguardie
Per un controllo più granulare, usa le istruzioni degli argomenti agente per creare limiti, impostare un contesto e definire il comportamento dell’agente. Puoi modificare le istruzioni per un argomento agente standard oppure creare un argomento personalizzato da zero.
Le salvaguardie sono controllate dall’amministratore e di solito vengono approvate dai dirigenti o dai principali decisori dell’azienda. Questo assicura che le linee guida siano ufficiali e riflettano i valori e i requisiti di conformità dell’organizzazione.
Einstein Trust Layer
Gli agenti IA si integrano con Einstein Trust Layer, un’architettura IA sicura incorporata in modo nativo in Salesforce.
Progettato per adeguarsi a standard di sicurezza di livello enterprise, Trust Layer ti permette di sfruttare i vantaggi dall’IA senza compromettere i dati dei clienti. Ti consente inoltre di utilizzare dati affidabili per migliorare le risposte dell’IA generativa.
-
Radicamento dei dati nel contesto: Trust Layer assicura che i prompt generativi siano radicati e arricchiti nei dati aziendali affidabili.
-
Azzeramento della conservazione dei dati: i dati non vengono mai conservati da un provider LLM di terze parti.
-
Rilevamento della tossicità: le risposte LLM potenzialmente dannose vengono rilevate e segnalate.
-
Monitoraggio dell'IA: dato che le interazioni dell'intelligenza artificiale vengono acquisite nei registri degli eventi, hai visibilità sui risultati di ogni interazione utente.
Pattern di fiducia degli agenti
In tutti i nostri prodotti implementiamo alcuni pattern di fiducia fondamentali, progettazioni standard di prodotti per migliorare la sicurezza. Ecco alcuni esempi
Pattern di fiducia |
Esempio |
|---|---|
Ridurre le allucinazioni. |
Utilizziamo la classificazione degli argomenti per mappare gli input utente ad argomenti specifici. In questo modo si riduce il rischio che un agente generi informazioni errate o irrilevanti. |
Limitare la frequenza delle email generate dall’agente. |
Limitiamo la frequenza delle email generate dall’agente per evitare di sovraccaricare gli utenti e assicurarci che le comunicazioni siano significative. |
Rispettare la privacy dell’utente. |
Includiamo una funzione di rifiuto esplicito nel software CRM per consentire agli utenti di stabilire con che frequenza desiderano ricevere comunicazioni dagli agenti IA. |
Prima di tutto creare trasparenza. |
Ci assicuriamo che il contenuto generato da IA sia divulgato in modo diretto e trasparente. |
Rendere più semplice e fluido il passaggio da IA a personale umano. |
Facilitiamo le transizioni dagli agenti al personale umano, ad esempio mettendo in copia un responsabile commerciale nelle email generate da IA o rendendo disponibile un cruscotto digitale per la revisione umana. |
Best practice di implementazione
Quando implementi le salvaguardie Agentforce nella tua organizzazione, segui queste best practice.
Best practice |
Esempio |
|---|---|
Comprendere le policy. |
Crea un elenco delle policy che possono essere applicate al tuo settore, alla tua area geografica e al tuo caso d’uso. Utilizzale per impostare dei limiti riguardo a quello che l’agente può e non può fare. Possono essere utili per determinare quali argomenti si possono assegnare al tuo agente. |
Implementare solide misure di sicurezza. |
Limita l’accesso degli agenti a ciò che serve per completare le operazioni assegnate. Assicurati che gli agenti soddisfino i requisiti normativi e di protezione dei dati. Usa le istruzioni degli argomenti per impostare le regole che l’agente deve seguire. |
Facilitare la supervisione umana. |
Imposta linee guida chiare riguardo a quando e come inoltrare a un agente umano. Usa le istruzioni degli argomenti per definire le linee guida. |
Monitorare e verificare. |
Oltre ai test iniziali, un monitoraggio continuo permette di assicurarsi che le prestazioni degli agenti siano quelle previste. Usa la funzione Itinerario di controllo in Einstein Trust Layer per ottenere approfondimenti dettagliati sulle azioni e sui risultati dell’IA. |
Rispettare la privacy dell’utente. |
Usa la funzione di rifiuto esplicito per consentire agli utenti di controllare la frequenza delle comunicazioni e proteggere la propria privacy. |
Effettuare regolarmente delle valutazioni. |
Effettua regolarmente valutazioni del livello di distorsione, spiegabilità e solidità per monitorare in modo costante la sicurezza e l’affidabilità. |