In che modo Salesforce crea l’IA agentica affidabile
Obiettivi di apprendimento
Al completamento di questa unità, sarai in grado di:
- Definire il significato di IA agentica affidabile.
- Descrivere i rischi principali associati agli agenti.
- Spiegare i principi guida per un’IA agentica responsabile.
Trailcast
Se vuoi ascoltare una registrazione di questo modulo, usa il player qui sotto. Quando hai finito, ricorda di tornare a ciascuna unità, consultare le risorse e completare le valutazioni associate.
Prima di iniziare
Ti consigliamo di consultare questi badge per avere una visione più chiara delle strategie di governance e fiducia per le soluzioni IA.
Che cos’è l’IA agentica affidabile?
In Salesforce la fiducia è al primo posto. E questo vale per la nostra IA agentica. L’IA agentica Salesforce si basa sulle linee guida Salesforce per un’IA responsabile, fondamentali per affrontare le sfide emergenti associate alla rapida crescita degli agenti IA sulla nostra piattaforma.
Se i valori e i principi guida sono cruciali, è altrettanto importante metterli in pratica con azioni concrete. Salesforce lo ha fatto con l’implementazione di Einstein Trust Layer, le misure di salvaguardia di Agentforce e i pattern di fiducia. Inoltre, impieghiamo un red-teaming etico e una policy di utilizzo accettabile dell’IA per garantire che tutti i sistemi IA operino rispettando parametri sicuri ed etici. Queste misure non solo rafforzano i valori della società, ma offrono anche una base solida per la creazione e il mantenimento della fiducia nelle tecnologie IA.
Prima di parlare di come Salesforce può aiutarti a creare una soluzione Agentforce affidabile, assicuriamoci che tu conosca la terminologia.
Agentforce
Agentforce è il marchio per il livello agentico di Salesforce Platform e comprende agenti che interagiscono con clienti e dipendenti.
Agenti
Gli agenti sono autonomi, orientati all’obiettivo ed eseguono operazioni e interazioni aziendali con un intervento umano minimo. Sono in grado di avviare e completare un’operazione o una sequenza di operazioni, gestire conversazioni in linguaggio naturale e fornire risposte pertinenti ricavate dai dati aziendali in tutta sicurezza. Gli agenti possono essere utilizzati per offrire supporto e collaborazione a un utente Salesforce nel flusso di lavoro. Possono anche agire per conto di un utente o un cliente. È possibile renderli disponibili nell’interfaccia di Salesforce o nei canali dei clienti.
IA agentica
L’IA agentica è un sistema IA che consente agli agenti IA di operare in modo autonomo, prendere decisioni e adattarsi ai cambiamenti. Promuove la collaborazione tra agenti IA e umani fornendo strumenti e servizi che facilitano l’apprendimento e l’adattamento.
Principi guida per l’IA agentica responsabile
Salesforce si impegna a sviluppare e usare gli agenti in modo responsabile. Questi sono i nostri principi fondamentali.
Accuratezza
Il nostro motore di ragionamento, il cervello dietro ad Agentforce, utilizza la classificazione degli argomenti per mappare la richiesta di un utente ad argomenti specifici. L’argomento include un insieme di istruzioni, policy aziendali e azioni che possono essere eseguite da un agente. In questo modo, l’agente resta concentrato sull’attività che deve svolgere.
Usando il processo di radicamento nel contesto, che permette di includere il contesto pertinente dall’organizzazione Salesforce nel prompt, gli agenti usano i dati dell’organizzazione in Salesforce e su quei dati basano la propria risposta per migliorare l’accuratezza e la rilevanza. Ciò consente agli agenti di sfruttare al meglio i dati Salesforce dell’organizzazione quando generano le risposte.
Sicurezza
I nostri agenti dispongono di salvaguardie incorporate per impedire conseguenze impreviste e garantire risposte sicure.
- Applichiamo delle policy di sistema per limitare l’ambito delle risposte degli agenti e assicurarci che rimangano in tema e rispondano in modo sicuro ed etico. Consulta la sezione sulla difesa dei prompt nell’argomento della Guida Einstein Trust Layer.
- Einstein Trust Layer rileva il contenuto pericoloso nella risposta dell’agente e lo registra nell’itinerario di controllo in modo da poterlo monitorare e rispondere di conseguenza.
- Applichiamo una policy di azzeramento della conservazione dei dati con i provider di modelli LLM (Large Language Model) di terze parti per assicurarci che i tuoi dati non vengano conservati all’esterno del perimetro di Salesforce Trust. La policy di azzeramento della conservazione dei dati e i nostri impegni contrattuali con i provider LLM assicurano che i tuoi dati non vengano utilizzati per l’addestramento del modello LLM di terze parti.
Onestà
Rispettiamo la fonte di dati e otteniamo il consenso al suo utilizzo. Siamo trasparenti riguardo al contenuto generato dall’IA e se è stato creato dall’IA lo dichiariamo. Includiamo informative standard quando l’IA genera la risposta in modo da garantire la trasparenza agli utenti.
Valorizzazione
Ci concentriamo sulla partnership tra persone e IA. L’IA deve supportare le persone, specialmente nelle operazioni che richiedono un giudizio umano. Alcune attività si possono automatizzare completamente, ma altre richiedono una supervisione umana. Diamo alle persone la possibilità di prendere decisioni ad alto rischio e automatizziamo le attività di routine, assicurandoci che il personale umano e l’IA collaborino in modo efficace.
Sostenibilità
Il nostro obiettivo è creare modelli IA efficienti per ridurre l’impatto ambientale. Modelli più piccoli e bene addestrati spesso possono offrire prestazioni superiori rispetto ai modelli più grandi. Inoltre, usiamo hardware efficiente e data center a basse emissioni di carbonio. Gli agenti usano modelli ottimizzati come xLAM e xGen-Sales, concepiti appositamente per operazioni specifiche, garantendo prestazioni elevate con un impatto ambientale minimo.
Seguendo questi principi, progettiamo agenti affidabili, sicuri, trasparenti, responsabili e sostenibili. In Salesforce ci dedichiamo all’uso dell’IA per ottimizzare le capacità umane sostenendo al contempo i nostri valori fondamentali.
Rischi e criticità principali
Man mano che i sistemi IA diventano più autonomi, il potenziale per un uso improprio e conseguenze non intenzionali aumenta. Garantire che questi sistemi funzionino in modo etico e trasparente è essenziale per il mantenimento della fiducia degli utenti e la protezione dai pericoli. Ecco alcuni dei principali rischi da considerare.
Conseguenze impreviste
Le azioni autonome degli agenti IA possono portare a risultati imprevisti e potenzialmente pericolosi. Tra questi, ad esempio, la generazione di contenuti faziosi o offensivi, la presa di decisioni sbagliate o l’interazione con gli utenti con modalità non allineate alle linee guida etiche di Salesforce. Le interazioni tra programmazione dell’IA e pattern appresi possono portare ad azioni non previste né desiderate, erodere la fiducia e creare preoccupazioni sul piano della sicurezza.
Sicurezza e privacy
Sicurezza e privacy sono fondamentali, soprattutto perché gli agenti gestiscono dati sensibili. Se nella progettazione non si fanno considerazioni appropriate riguardo alla sicurezza, si potrebbe inavvertitamente causare una perdita di dati e compromettere la fiducia degli utenti.
Considerazioni etiche e legali
Gli agenti devono aderire alle policy e ai requisiti legali. Garantire che gli agenti agiscano in modo etico e conforme alla legge è essenziale per evitare problemi legali e mantenere la fiducia.
Perdita del controllo umano
Con gli agenti che diventano sempre più autonomi, può essere problematico per il personale umano assicurare la supervisione. Questo può causare errori, violazioni dell’etica e danni agli utenti e alla reputazione della piattaforma.
Bias di automazione
Gli utenti possono fidarsi eccessivamente degli output dell’IA, dando per scontato che siano sempre accurati e affidabili. La generazione aumentata di recupero (RAG) può peggiorare questa distorsione facendo sembrare gli output IA estremamente autorevoli e credibili anche quando sono errati. Questa eccessiva dipendenza può condurre a errori.
Aumento dell’uso improprio da parte degli utenti
Un numero sempre maggiore di utenti interagisce con l’IA generativa e quindi la possibilità che venga usata in modo improprio aumenta. Gli utenti possono sfruttare l’IA per scopi pericolosi o non capire qual è l’uso corretto, causando problemi come la generazione di contenuti inappropriati o la violazione della privacy.
Usiamo diverse strategie per la mitigazione. Creiamo salvaguardie nella piattaforma e nei prodotti, effettuiamo test avversari attraverso il red teaming e sviluppando una policy di utilizzo accettabile dell’IA che ti aiuta a proteggerti. Ti offriamo inoltre la possibilità di personalizzare le misure di salvaguardia nel prodotto per assicurarti che riflettano i valori della tua organizzazione e i requisiti di conformità. Ne parleremo più in dettaglio nelle prossime due unità.
In questa unità, hai imparato cosa sono gli agenti autonomi e quali sono i rischi associati. Hai anche esplorato i principi e le pratiche fondamentali per lo sviluppo degli agenti IA e le modalità di progettazione delle misure di sicurezza in Salesforce. Nella prossima unità, imparerai come si utilizzano le misure di sicurezza in Agentforce e i pattern di fiducia per implementare un’IA agentica affidabile.