Définition des garde-fous de l’agent

Objectifs de formation

Une fois cette unité terminée, vous pourrez :

Décrire les garde-fous qui contribuent à garantir la fiabilité d’Agentforce
Identifier les risques associés à votre projet Agentforce
Définir des stratégies d’atténuation des risques pour le projet

Les risques de l’IA autonome

Les agents de l’IA autonome sont des outils incroyablement puissants qui peuvent apporter de la valeur à votre organisation et améliorer l’expérience client. Cependant, ils sont également porteurs de risques. Ces risques sont des menaces pour la sécurité, des violations de données, des atteintes à la réputation, des pertes financières, des biais, des hallucinations, et des problèmes de transparence et de responsabilité.

Malgré les risques, il est possible de déployer l’IA autonome en toute sécurité dans votre organisation. Avec une planification adéquate et l’aide de Salesforce Platform, vous pouvez créer et implémenter une suite complète d’agents IA fiables.

Des agents IA dignes de confiance

Dans le module IA agentique fiable, vous pouvez apprendre que l’une des principales caractéristiques d’Agentforce est l’accent mis sur les garde-fous. Ces garde-fous définissent les limites opérationnelles de chaque agent, en précisant ce qu’il peut faire ou non. En utilisant un langage naturel, vous pouvez spécifier des lignes directrices pour le comportement de l’agent et son mode de fonctionnement.

Outre les garde-fous des agents IA, la couche de confiance Einstein intégrée à Salesforce Platform garantit que les actions des agents sont conformes aux normes de sécurité et de conformité de votre entreprise. Elle comprend des mécanismes de détection des dommages et de la toxicité, ce qui empêche les agents de s’engager dans des activités inappropriées ou nuisibles.

Dans cette unité, vous accompagnez Nora dans son travail avec le comité sur l’IA de Coral Cloud pour identifier les risques associés à leur cas d’utilisation de l’IA autonome et développer un plan pour traiter ces risques.

La gouvernance, un aspect essentiel

Les garde-fous de Salesforce relatifs aux agents IA sont puissants et robustes, mais Nora est consciente que tous les garde-fous de Coral Cloud ne dépendent pas de technologie elle-même. Ce qui se passe en dehors de la technologie est tout aussi important.

Lorsque Coral Cloud a développé sa stratégie d’IA, l’équipe a mis en place une démarche de gouvernance de l’IA, qui l’aide à planifier une stratégie complète d’atténuation des risques pour son agent IA.

Voici un exemple simple de gouvernance de l’IA : chez Coral Cloud, le comité sur l’IA exige que tous les nouveaux projets d’IA fassent l’objet d’une évaluation de sécurité. Il s’agit d’un processus métier (et non d’une fonction technologique) qui contribue à protéger l’organisation contre les risques liés à l’IA. Nora planifie l’évaluation de sécurité afin que l’entreprise puisse commencer à réfléchir plus en profondeur aux garde-fous et à la gouvernance du projet.

Traitement des objections

Dans certaines organisations, il peut être difficile d’aborder le sujet du risque, car on a l’impression que les activités d’atténuation du risque ralentissent le processus de développement. Toutefois, il est essentiel d’aborder les risques d’emblée, faute de quoi le projet d’IA peut être interrompu avant même d’être mis en production.

En intégrant la gestion des risques dans le processus de conception et de prototypage de l’IA, vous pouvez accélérer la mise en œuvre de vos projets et vous assurer qu’ils répondent aux exigences éthiques, juridiques, réglementaires et de sécurité nécessaires. Si vous apprenez à gérer les risques pour un cas d’utilisation donné, vous pouvez ensuite appliquer rapidement ces connaissances au cas d’utilisation suivant, et ainsi de suite.

Le fait d’expliquer en termes moins techniques ce qu’est un agent et ce qu’il peut faire pour votre entreprise peut vous aider à mettre en place une base de travail solide. Cette base de travail peut ensuite être mise à profit dans le cadre de futurs projets, ce qui garantit des implémentations de l’IA plus harmonieuses et plus réussies à l’avenir.

Structuration des conversations sur les risques

Alors, comment pouvez-vous aborder les conversations relatives aux risques ? Nous recommandons d’utiliser le cadre Personnes, Activité commerciale, Technologies et Données, qui est probablement familier à de nombreuses organisations. Ces catégories et considérations peuvent vous aider à identifier les risques et préoccupations liés à votre projet Agentforce.

Catégorie	Considérations
Populations	Autonomisation : rôles et responsabilités, recrutement, formation et développement des compétences Culture et pratique : conception de l’IA axée sur l’aspect humain, gestion du changement, adoption
Activité commerciale	Value (Valeur) : avantages, objectifs, KPI et métriques Opérations : structure organisationnelle, gestion des capacités, processus et flux de travail, gouvernance de l’IA, stratégie DevOps
Technologie	Outils d’IA : infrastructure de l’IA, applications, API, invites, garde-fous de sécurité Modèles IA : sélection du modèle, considérations relatives à la formation, gestion, coût
Des données	Qualité : conformité à l’usage, exactitude, exhaustivité, accessibilité, récence, etc. Stratégie : gestion des données, infrastructure, gouvernance, analyses

Infographie présentant les quatre quadrants du cadre Personnes, Activité commerciale, Technologies et Données.

Identification des risques et des préoccupations

Nora utilise ce cadre pour discuter des risques et des préoccupations liés au cas d’utilisation de Coral Cloud concernant la gestion des réservations. Les parties prenantes du comité sur l’IA de Coral Cloud identifient les risques et les préoccupations pour chaque catégorie. Cette liste n’est pas exhaustive et chaque cas d’utilisation est associé à des risques et des préoccupations qui lui sont propres.

Catégorie	Risques
Populations	Refus : les clients ne veulent pas parler à l’agent parce qu’ils ne lui font pas confiance ou parce qu’ils ne savent pas s’ils sont autorisés à utiliser l’IA. Abus : les clients font preuve d’hostilité face à l’agent ou essaient de le manipuler. Culture : les craintes concernant l’impact potentiel de l’IA sur les emplois dans le domaine du service ont une incidence sur le moral des employés.
Activité commerciale	Adaptation : l’étendue de l’agent ne s’intègre pas correctement dans l’organisation de l’entreprise ou dans les processus de l’équipe. La création de rapports : les indicateurs de performance clés de l’équipe actuelle sont invalidés par l’introduction d’un agent IA pour effectuer une partie du travail. Mesures incitatives : la réorientation du travail des agents a un impact sur les structures de rémunération et de récompense. Opérations : le processus de réaffectation est peu clair, inefficace ou frustrant. Performance de l’agent : les réponses de l’agent IA ne sont pas correctement influencées par les politiques appropriées de l’entreprise.
Technologie	Exactitude : les hallucinations dégradent la qualité des réponses ou les connaissances sont incomplètes. Fiabilité : la variabilité des réponses générées par l’agent est trop large. Audit : les opérations technologiques ne permettent pas de suivre l’exactitude des réponses de l’agent. Latence : l’agent ne parvient pas à formuler rapidement des réponses.
Des données	Accès : les autorisations relatives aux données ne sont pas comprises ou appliquées ; les données risquent d’être exposées aux clients. Confidentialité : les données requises ne peuvent pas être utilisées en raison de la politique de confidentialité. Conformité : le fait que des contraintes contractuelles du client s’appliquent ou non aux données n’est pas clair ; par exemple, les données ne peuvent peut-être pas quitter le pays d’activité du client. Adaptation à l’objectif : les données ne sont pas en adéquation avec l’objectif de l’agent, ou les droits sur les données ne sont pas en adéquation avec le cas d’utilisation. Éthique : des biais dans les données du modèle pourraient générer des réponses inappropriées.

Dans le cas de Nora, vous pouvez voir en quoi les limites des articles Knowledge de son entreprise ont une influence sur sa stratégie d’adoption. Cependant, l’entreprise Coral Cloud pourrait également être confrontée à plusieurs des risques ayant été présentés. Après tout, si un agent ne respecte pas les politiques du complexe hôtelier dans ses réponses ou si les employés n’ont aucun moyen d’évaluer l’aide apportée par les agents, il ne sera pas facile de proposer une expérience cinq étoiles.

Définition des stratégies d’atténuation des risques

Maintenant que le comité sur l’IA de Coral Cloud a répertorié les risques et les préoccupations, Nora et son équipe peuvent réfléchir à des stratégies d’atténuation pour chaque risque. Lorsqu’ils trouvent des garde-fous potentiels, ils les classent par catégories selon qu’ils sont liés aux personnes, à l’entreprise, à la technologie ou aux données.

Voici des exemples de garde-fous potentiels pour deux des risques identifiés par Coral Cloud.

Catégorie de risque	Risque	Garde-fous potentiels
Populations	Rejet par les clients : les utilisateurs ne veulent pas parler à l’agent parce qu’ils ne lui font pas confiance.	Garde-fou relatif aux personnes : mettre au point une stratégie de communication et organiser des séances d’information pour les clients. Garde-fou technologique : concevoir l’agent de manière à ce qu’il indique de façon transparente qu’il est une IA. Garde-fou technologique : configurer pour l’agent un message de bienvenue qui définit des attentes adéquates quant à ses capacités et à la manière dont il peut apporter de l’aide.
Activité commerciale	Problèmes de réaffectation : les transferts de conversations entre l’agent IA et les agents de service sont incohérents, inefficaces ou frustrants pour les clients.	Garde-fou relatif à l’activité commerciale : définir les critères et le contexte de la réaffectation aux agents de service des conversations prises en charge par l’IA. Garde-fou technologique : configurer Agentforce de manière à ce qu’un résumé de l’interaction précédente menée par l’agent soit transmis à l’agent de service. Garde-fou technologique : décrire clairement, dans les instructions de l’agent, les mots-clés, les formulations ou les demandes qui doivent déclencher une réaffectation.

Nora dispose déjà d’un plan pour réduire l’étendue de son implémentation de la gestion des réservations. Toutefois, elle peut aussi prendre des mesures pour définir des attentes adéquates chez les clients qui interrogent un agent au sujet de l’entreprise. Dans ce cas précis, cela pourrait signifier l’ajout d’une clause de non-responsabilité dans le message de bienvenue de l’agent, indiquant qu’il est conçu pour répondre aux questions liées aux réservations. Il convient également d’indiquer quel est le meilleur endroit pour obtenir des informations sur d’autres services.

Documentation des actions et expérimentation

Lorsque Nora et le comité sur l’IA ont terminé la procédure d’atténuation des risques, ils documentent les risques et les garde-fous pour leur cas d’utilisation. Le fait de consigner les activités d’atténuation des risques de Coral Cloud est important pour la conformité réglementaire et utile pour les audits internes.

Gardez à l’esprit que procéder à des essais répétés est tout aussi important que de documenter les actions. Pour vous assurer que vos garde-fous technologiques sont efficaces, accédez à votre environnement sandbox et essayez de configurer les mesures de protection dans Agentforce. Familiarisez-vous avec les garde-fous et testez leurs performances dans différents scénarios. Cette approche vous permet d’identifier rapidement les lacunes ou les problèmes, et de procéder aux ajustements nécessaires. En combinant la documentation des actions et l’expérimentation pratique, vous pouvez développer des stratégies d’atténuation des risques pour votre agent IA.

Maintenant que son plan de gouvernance préliminaire est établi, Nora est prête à passer à un autre aspect essentiel du projet : la description du travail que l’agent de Coral Cloud effectuera.

Durée estimée

Thèmes

Besoin d'aide ?

Ressources Agentforce