Découverte de la manière dont Salesforce crée une IA agentique de confiance
Objectifs de formation
Une fois cette unité terminée, vous pourrez :
- Définir ce qu’est l’IA agentique de confiance
- Décrire les principaux risques associés aux agents
- Expliquer les principes directeurs d’une IA agentique responsable
Avant de commencer
Nous vous recommandons d’examiner les badges suivants pour mieux comprendre les stratégies de gouvernance et de confiance relatives aux solutions d’IA.
Présentation du concept d’IA agentique de confiance
Chez Salesforce, la confiance est notre valeur numéro un. Bien entendu, cela s’applique à notre IA agentique. L’IA agentique de Salesforce s’appuie sur les lignes directrices de Salesforce en matière d’IA responsable, qui permettent de relever les nouveaux défis liés à la croissance rapide des agents IA sur notre plate-forme.
Si les valeurs et les principes directeurs sont essentiels, il est tout aussi important de les appuyer par des actions concrètes. C’est précisément ce qu’a fait Salesforce en implémentant la couche de confiance Einstein, les garde-fous Agentforce et les modèles de confiance. En outre, nous avons recours à une équipe rouge éthique et à une politique d’utilisation acceptable de l’IA pour veiller à ce que les systèmes d’IA fonctionnent selon des paramètres sûrs et éthiques. Ces mesures renforcent non seulement les valeurs de notre entreprise, mais fournissent également une base solide pour renforcer et maintenir la confiance envers les technologies d’IA.
Avant d’aborder la manière dont Salesforce peut vous aider à créer un réseau d’agents fiables, assurons-nous que nous comprenons bien certains termes.
Agentforce
Agentforce est la marque de la couche agentique de Salesforce Platform, qui englobe les agents en contact avec les clients et avec les employés.
Agents
Les agents sont autonomes, axés sur un objectif et exécutent des tâches et des interactions commerciales avec un minimum d’intervention humaine. Ils peuvent lancer et effectuer une séquence de tâches, gérer des conversations en langage naturel et fournir en toute sécurité des réponses pertinentes tirées de données commerciales. Les agents peuvent être utilisés pour appuyer l’activité d’un utilisateur de Salesforce et sont en mesure de collaborer avec lui dans le cadre de son travail. Ils peuvent également agir au nom d’un utilisateur ou d’un client. Ils peuvent être mis à disposition dans votre interface Salesforce ou dans vos canaux clients.
IA agentique
L’IA agentique est un système d’IA qui permet aux agents IA de fonctionner de manière autonome, de prendre des décisions et de s’adapter au changement. Elle favorise la collaboration entre les agents IA et les individus en fournissant des outils et des services qui facilitent l’apprentissage et l’adaptation.
Principes directeurs pour une IA agentique responsable
Salesforce s’engage à développer et à utiliser les agents de manière responsable. Nos principes clés sont les suivants.
Précision
Notre moteur de raisonnement, le cerveau derrière Agentforce, utilise la classification par rubrique pour mapper la demande d’un utilisateur à des rubriques spécifiques. La rubrique comprend un ensemble d’instructions, de politiques d’entreprise et d’actions qu’un agent peut entreprendre. L’agent reste ainsi concentré sur la tâche qu’il est censé accomplir.
Grâce au processus d’ancrage, qui consiste à inclure le contexte pertinent de votre organisation Salesforce dans l’invite, les agents reposent leur réponse sur les données de votre organisation présentes dans Salesforce pour améliorer sa précision et sa pertinence. Cela permet aux agents de tirer le meilleur parti des données Salesforce de votre organisation lorsqu’ils génèrent leurs réponses.
Sécurité
Nos agents sont dotés de protections intégrées pour éviter les conséquences imprévues et garantir des réponses sûres.
- Nous avons mis en place des politiques système pour limiter l’étendue des réponses des agents, en veillant à ce qu’ils ne s’écartent pas de la rubrique et qu’ils répondent de manière sûre et éthique. Consultez la section Défense des invites dans l’article d’aide Couche de confiance Einstein.
- La couche de confiance Einstein détecte les contenus nuisibles dans la réponse de l’agent et les consigne dans le journal d’audit afin que vous puissiez les surveiller et réagir en conséquence.
- Nous avons mis en place une politique de rétention zéro en matière de données avec les fournisseurs tiers de modèle de langage de grande taille (LLM) afin de nous assurer que vos données ne sont pas conservées en dehors du périmètre de confiance de Salesforce. La politique de rétention zéro en matière de données et nos engagements contractuels avec les fournisseurs de LLM garantissent que vos données ne sont pas utilisées pour la formation de LLM tiers.
Honnêteté
Nous respectons la source des données et obtenons le consentement nécessaire à leur utilisation. Nous sommes transparents en ce qui concerne le contenu généré par l’IA, et nous indiquons quand une IA l’a créé. Nous incluons des divulgations standard lorsque l’IA génère une réponse, afin d’être transparents pour les utilisateurs.
Autonomisation
Nous nous concentrons sur la coopération entre les individus et l’IA. L’IA doit assister les utilisateurs, en particulier dans les tâches qui requièrent leur jugement. Certaines tâches peuvent être entièrement automatisées, mais d’autres nécessitent d’être supervisées. Nous donnons aux individus les moyens de prendre des décisions à haut risque tout en automatisant les tâches de routine. Ainsi, ils peuvent travailler de manière efficace aux côtés de l’IA.
Développement durable
Nous visons à créer des modèles IA efficaces pour réduire l’impact sur l’environnement. Des modèles de taille modeste bien entraînés peuvent souvent être plus performants que des modèles plus grands. Nous utilisons également du matériel efficace et des centres de données à faible émission de carbone. Les agents utilisent des modèles optimisés tels que xLAM et xGen-Sales, qui sont adaptés à des tâches spécifiques, ce qui garantit l’obtention de performances élevées avec un impact minimal sur l’environnement.
En suivant ces principes, nous concevons des agents fiables, sûrs, transparents, vecteurs d’autonomie et durables. Chez Salesforce, nous nous engageons à utiliser l’IA pour améliorer les capacités humaines tout en respectant nos valeurs fondamentales.
Principaux risques et préoccupations
À mesure que les systèmes d’IA deviennent plus autonomes, le risque d’utilisation abusive et de conséquences imprévues augmente. Il est essentiel de veiller à ce que ces systèmes fonctionnent de manière éthique et transparente pour maintenir la confiance des utilisateurs et les protéger contre les préjudices. Voici quelques-uns des principaux risques à prendre en considération.
Conséquences imprévues
Les actions autonomes des agents IA peuvent avoir des conséquences imprévues et potentiellement néfastes. Il peut s’agir de la génération de contenu biaisé ou offensant, de la prise de décisions incorrectes ou du fait d’interagir avec les utilisateurs d’une manière qui n’est pas conforme aux lignes directrices éthiques de Salesforce. Les interactions entre la programmation de l’IA et les modèles appris peuvent conduire à des actions non prévues ou indésirables, ce qui ébranle la confiance et crée des problèmes de sécurité.
Sécurité et confidentialité
La sécurité et la confidentialité sont primordiales, en particulier parce que les agents gèrent des données sensibles. Si les considérations de sécurité appropriées ne sont pas prises en compte dans le cadre de leur conception, cela peut entraîner la fuite involontaire de données sensibles, ce qui compromet la confiance accordée par les utilisateurs.
Considérations relatives aux aspects éthiques et juridiques
Les agents doivent respecter les politiques et les exigences légales. Il est essentiel de veiller à ce que les agents agissent de manière éthique et respectent les lois pour éviter les problèmes juridiques et maintenir la confiance.
Perte de contrôle humain
Les agents devenant de plus en plus autonomes, il peut s’avérer difficile d’en assurer la supervision. Cela peut entraîner des erreurs, des manquements à l’éthique et des préjudices pour les utilisateurs et la réputation de la plate-forme.
Biais d’automatisation
Les utilisateurs peuvent accorder une confiance excessive aux résultats de l’IA, en supposant qu’ils sont toujours exacts et fiables. La génération augmentée de récupération (RAG) peut renforcer ce biais en donnant l’impression que les résultats de l’IA font autorité et sont crédibles, même lorsqu’ils sont erronés. Cette confiance excessive peut entraîner des erreurs.
Augmentation des abus des utilisateurs
Plus les utilisateurs sont nombreux à interagir avec l’IA générative, plus le risque d’abus augmente. Les utilisateurs peuvent exploiter l’IA à des fins nuisibles ou mal comprendre son utilisation correcte, ce qui entraîne des problèmes tels que la production de contenu inapproprié ou des violations de la confidentialité.
Nous utilisons tout un éventail de stratégies d’atténuation. Nous intégrons des garde-fous à notre plate-forme et à nos produits, effectuons des tests contradictoires par le biais d’une équipe rouge et développons une politique d’utilisation acceptable de l’IA qui contribue à vous protéger. Nous vous offrons également la possibilité de personnaliser les garde-fous du produit afin de faire en sorte qu’ils soient en phase avec les valeurs et les exigences de conformité de votre organisation. Nous en parlerons plus en détail dans les deux unités suivantes.
Dans cette unité, vous avez découvert les agents autonomes et les risques leur étant associés. Vous avez également exploré les principes et pratiques fondamentaux du développement d’agents IA, ainsi que la manière dont les garde-fous sont conçus chez Salesforce. Dans l’unité suivante, vous apprendrez comment les garde-fous et les modèles de confiance d’Agentforce sont utilisés pour implémenter une IA agentique de confiance.