Promuovere agenti etici e responsabili

Obiettivi di apprendimento

Al completamento di questa unità, sarai in grado di:

Implementare strategie etiche di red teaming e test.
Sviluppare principi guida e standard per la tua organizzazione.

Trailcast

Se vuoi ascoltare una registrazione di questo modulo, usa il player qui sotto. Quando hai finito, ricorda di tornare a ciascuna unità, consultare le risorse e completare le valutazioni associate.

Principi guida per agenti responsabili

Molte organizzazioni che adottano l’IA trovano utile stabilire dei principi per il suo uso responsabile prima di sviluppare la propria strategia per l’intelligenza artificiale. La definizione di un insieme di principi riguardanti l’IA permette alle aziende di chiarire la propria posizione su questa tecnologia e di considerare l’impatto che esercita sui dipendenti, sui clienti e sulla società. Puoi utilizzare le nostre linee guida come fonte di ispirazione per sviluppare le tue sulla base delle tue esigenze e casi d’uso aziendali. Pensa a ciò che significa la sicurezza per il tuo caso d’uso. Nel tuo settore sono applicate leggi, regole e normative specifiche che possono richiedere particolari requisiti di sicurezza?

Come promemoria, e per aiutarti a iniziare a stabilire i tuoi principi guida, ecco il principio guida di Salesforce per lo sviluppo di un’IA affidabile.

Accuratezza
Sicurezza
Onestà
Valorizzazione
Sostenibilità

Strategie di red teaming e test

Un red team è un gruppo di esperti, di solito esperti di sicurezza e di etica dell’IA, che cercano di penetrare nei sistemi di un’organizzazione per individuare e risolvere problemi di sicurezza e di altro tipo che causano output o risultati indesiderati.

Il red teaming può essere definito come “un processo strutturato per l’analisi di sistemi e prodotti basati su IA al fine di identificare funzionalità e output pericolosi o minacce a livello di infrastruttura”.

Tre mani che tengono delle lenti di ingrandimento su un segnale di avvertimento con un punto esclamativo all’interno di un triangolo.

Eseguire dei test è fondamentale per garantire la sicurezza e impedire conseguenze impreviste. Ecco alcuni elementi chiave su cui riflettere.

Decidi per quali pericoli eseguire i test. Imposta finalità e obiettivi dei test e allineali alle tue finalità aziendali e ai tuoi casi d’uso.
Crea il team che dovrà eseguire i test. Puoi avvalerti di esperti sia interni che esterni che siano competenti e abbiano esperienza nel pensiero avversario e nella creazione di strategie di attacco da testare.
Esegui periodicamente dei test per assicurarti di restare al passo con l’evoluzione della tecnologia e del pensiero avversario riguardo a IA e agenti.

Ecco come gestiamo il red teaming in Salesforce. Salesforce utilizza metodi di red teaming sia manuali che automatici per rendere più sicuri i nostri prodotti basati su IA. Effettuiamo test sull’uso scorretto, sugli attacchi intenzionali all’integrità come le iniezioni di prompt o sull’uso improprio accidentale. Conduciamo test di red teaming sull’IA per verificare la tossicità, la distorsione e la sicurezza, al fine di garantire che i nostri sistemi siano sicuri in caso di uso dannoso o abuso non grave.

Tipo di test	Descrizione
Manuale	Il test manuale usa la creatività, l’esperienza e le conoscenze specialistiche dei tester umani per elaborare strategie di attacco complesse che i sistemi automatizzati potrebbero non rilevare. I tester umani possono anche adattare il proprio approccio all’ambiente, all’obiettivo e agli scopi specifici, rendendo i loro attacchi più realistici e personalizzati.
Automatico	Il test automatizzato viene utilizzato come miglioramento, non come sostituto dei test e delle valutazioni condotti dal personale umano. Questo tipo di test utilizza script, algoritmi e strumenti software per simulare numerosi attacchi o minacce in poco tempo. Esplora inoltre la superficie di rischio del sistema esaminando l’entità del rischio.

Collaboriamo con esperti interni ed esterni per eseguire test di penetrazione e gestire i rischi e i casi d’uso specifici degli agenti.

Per una panoramica più completa, consulta il nostro blog sul red teaming responsabile.

Benchmarking dei modelli

Confrontando i nostri modelli di IA con gli standard di settore, possiamo assicurarci che le loro prestazioni siano al massimo livello. Per ottenere risultati ancora migliori, abbiamo pubblicato i primi benchmark degli LLM per CRM. Questi benchmark offrono misure importanti che ci aiutano a valutare la qualità del funzionamento di un sistema basato su IA e a informare i nostri clienti.

Il futuro dei test etici

Il team addetto a test, analisi e valutazione in Salesforce si impegna a garantire l’affidabilità e la sicurezza dei nostri prodotti basati su IA. Attraverso rigorosi processi di test, red teaming proattivo e benchmarking completo, facciamo il possibile per mantenere i più elevati standard di integrità dell’IA. Promuovendo una cultura di miglioramento e innovazione continui, ci impegniamo a fornire soluzioni di IA di cui i nostri clienti possano fidarsi.

AI Acceptable Use Policy (Policy di utilizzo accettabile dell’IA)

Salesforce ha pubblicato una policy di utilizzo accettabile dell’IA (AI AUP) per allinearsi agli standard di settore e ai nostri partner e per proteggere i nostri clienti. Per saperne di più, consulta la nostra Policy di utilizzo accettabile dell’IA.

La policy AI AUP di Salesforce è fondamentale per la nostra strategia aziendale e per questo ne abbiamo discusso a lungo con il sottocomitato del consiglio consultivo per l’uso etico e con partner, leader del settore e sviluppatori prima della sua pubblicazione. In questo modo, miriamo a promuovere un’innovazione responsabile e a proteggere le persone che si affidano ai nostri prodotti così come vengono sviluppati. L’AI AUP di Salesforce è solo un punto di partenza, incentrato sull’uso dell’IA con i prodotti Salesforce. Valuta la possibilità di definire le tue regole o i tuoi principi in materia di IA, per garantire che la tua azienda utilizzi l’IA nel rispetto dei valori etici aziendali.

Standard di sicurezza degli agenti

Prendi in considerazione queste misure di sicurezza per sviluppare standard per il controllo degli accessi, la protezione dei dati e l’uso responsabile degli agenti nella tua organizzazione.

Categoria	Tipo	Consiglio
Controllo degli accessi	Controlli degli accessi rigidi	Implementa controlli degli accessi adeguati per garantire che solo le persone con necessità di conoscere e con requisiti aziendali siano autorizzate a interagire con modelli e servizi di IA generativa. Quando progetti gli agenti, identifica in modo completo l’intero ambito e le potenziali azioni dell’agente per determinare i contesti di esecuzione appropriati. Per le azioni critiche, valuta la possibilità di eseguire agenti all’interno di singoli contesti utente del servizio per implementare controlli granulari degli accessi e ridurre al minimo i potenziali rischi per la sicurezza.
Controllo degli accessi	Monitoraggio e verifiche	Crea avvisi e monitora e verifica regolarmente l’accesso ai modelli e ai servizi di IA generativa per rilevare e impedire l’uso non autorizzato.
Protezione dei dati	Controlli dell’integrità	Aggiungi controlli dell’integrità per i dati dei clienti sia interni che esterni. Segui le regole giuste per la sicurezza, il backup e il ripristino delle applicazioni e per le configurazioni di base.
Utilizzo responsabile	Gestione dei dati dei clienti	Adotta delle misure per gestire i dati personali dei clienti in modo corretto. Assicurati che vengano raccolti e utilizzati solo per motivi legittimi e che gli interessati ricevano la dovuta informativa e diano il loro consenso.
	Trasparenza per i clienti	Assicurati che i servizi non effettuino inferenze invisibili al cliente.
	Moderazione dei contenuti	Fornisci un filtro di moderazione dei contenuti per i servizi di IA generativa e abilitalo per impostazione predefinita ove disponibile.
	Uso etico	Stabilisci delle linee guida per l’uso etico dell’IA generativa per assicurarti che venga usata nel rispetto della privacy e della sicurezza.

Dalla teoria alla pratica

In questo modulo abbiamo trattato molti aspetti relativi all’IA agentica affidabile e al modo in cui Salesforce la sviluppa. Ora comprendi i rischi principali associati all’IA agentica, ad esempio i comportamenti imprevisti, la distorsione e le violazioni dei dati. Hai anche imparato a conoscere le salvaguardie e i pattern di fiducia specifici che garantiscono che gli agenti IA operino entro parametri sicuri ed etici. Comprendi l’importanza di promuovere pratiche responsabili nell’ambito dell’IA nella tua organizzazione attraverso il red teaming etico, i test e l’applicazione di una policy di utilizzo accettabile dell’IA.

Con queste conoscenze, sei sulla buona strada per creare agenti IA che non solo siano efficaci, ma anche affidabili e responsabili.

Tempo stimato

Argomenti

Hai bisogno di aiuto?

Risorse per Agentforce