Promotion des agents responsables et éthiques

Objectifs de formation

Une fois cette unité terminée, vous pourrez :

Implémenter des stratégies de test et d’équipes rouges éthiques
Élaborer des principes directeurs et des normes pour votre organisation

Principes directeurs pour des agents responsables

De nombreuses organisations adoptant l’IA trouvent qu’il est utile d’établir des principes relatifs à une utilisation responsable de l’IA avant d’élaborer leur stratégie d’IA. Grâce à un ensemble de principes relatifs à l’IA, les entreprises peuvent clarifier leur position sur l’IA et prendre en compte l’impact de la technologie sur les employés, les clients et la société. Vous pouvez vous inspirer de nos lignes directrices pour développer les vôtres en fonction de vos besoins métiers et cas d’utilisation. Réfléchissez à ce que signifie la sécurité dans votre situation. Existe-t-il des lois, des règles et des réglementations propres à votre secteur d’activité qui peuvent imposer des exigences particulières en matière de sécurité ?

Pour vous rafraîchir la mémoire et vous aider à définir vos propres principes directeurs, voici ceux de Salesforce en ce qui concerne le développement d’une IA fiable :

Précision
Sécurité
Honnêteté
Autonomisation
Développement durable

Stratégies d’équipe rouge et de test

Une équipe rouge est un groupe d’experts, généralement spécialisés en sécurité et en éthique de l’IA, qui tentent de s’introduire dans les systèmes d’une organisation pour trouver et résoudre des failles de sécurité et d’autres problèmes qui impliquent des résultats indésirables.

Le recours à une équipe rouge peut être défini comme « un processus structuré pour sonder les systèmes et produits d’IA afin d’identifier les capacités nuisibles, les résultats néfastes ou les menaces pour l’infrastructure ».

Trois mains tenant des loupes face à un panneau d’avertissement sur lequel figure un point d’exclamation à l’intérieur d’un triangle.

Les tests sont un aspect essentiel de la sécurité et de la prévention des conséquences imprévues. Voici quelques aspects clés à prendre en considération.

Comprenez quels sont les effets néfastes au sujet desquels vous souhaitez réaliser des tests. Définissez les buts et les objectifs des tests et faites en sorte qu’ils soient en adéquation avec vos objectifs commerciaux et vos cas d’utilisation.
Constituez l’équipe chargée d’effectuer ces tests. Vous pouvez faire appel à des experts aussi bien internes qu’externes qui ont une bonne connaissance et une expérience en matière de pensée contradictoire et de création de stratégies d’attaque à tester.
Effectuez périodiquement des tests pour vous assurer que vous restez au fait de l’évolution de la technologie et de la pensée contradictoire autour de l’IA et des agents.

Voici quelle est notre approche en matière d’équipes rouges chez Salesforce. Salesforce fait employer par ses équipes rouges des méthodes aussi bien manuelles qu’automatisées pour rendre ses produits d’IA plus sûrs. Nous effectuons des tests relatifs aux mauvaises utilisations, aux attaques intentionnelles contre l’intégrité telles que les injections d’invite, ou encore aux mauvaises utilisations accidentelles. Avec l’aide d’équipes rouges, nous soumettons l’IA à des tests se rapportant à la toxicité, à la partialité et à la sécurité afin de nous assurer que nos systèmes restent sûrs en cas d’utilisation malveillante ou d’abus.

Type de test

Description

partage

Les tests manuels font appel à la créativité, à l’expérience et aux connaissances spécialisées de testeurs humains pour créer des stratégies d’attaque complexes que les systèmes automatisés peuvent ne pas être capables d’élaborer. Les testeurs humains peuvent également adapter leur approche à un environnement, à une cible et à des objectifs spécifiques, ce qui rend leurs attaques plus réalistes et mieux adaptées.

Automatisé

Les tests automatisés sont utilisés pour améliorer (et non pour remplacer) les tests et les évaluations effectués par des individus. Ce type de test a recours à des scripts, des algorithmes et des outils logiciels pour simuler de nombreuses attaques ou menaces en peu de temps. Il explore également la surface de risque du système en examinant l’ampleur du risque.

Nous faisons appel à des experts externes et internes pour effectuer des tests d’intrusion et traiter les risques et les cas d’utilisation propres aux agents.

Pour obtenir une vue d’ensemble plus complète, consultez notre article de blog sur le recours aux équipes rouges de manière responsable.

Analyses comparatives des modèles

En comparant nos modèles IA aux normes sectorielles, nous pouvons nous assurer qu’ils fonctionnent au plus haut niveau. Nous sommes même allés encore plus loin en publiant les premières références de grand modèle de langage pour le CRM. Ces références présentent des valeurs de mesure importantes qui nous aident à comprendre la qualité des performances des systèmes d’IA et à informer nos clients.

L’avenir des tests éthiques

L’équipe chargée des tests et de l’évaluation chez Salesforce s’attache à garantir la fiabilité et la sécurité de nos produits d’IA. Grâce à des processus de test rigoureux, à des équipes rouges proactives et à des analyses comparatives complètes, nous nous efforçons de maintenir les normes les plus élevées en matière d’intégrité de l’IA. En encourageant une culture d’amélioration et d’innovation continues, nous nous engageons à fournir des solutions d’IA auxquelles nos clients peuvent faire confiance.

Politique d’utilisation acceptable de l’IA

Salesforce a publié une Politique d’utilisation acceptable de l’IA (PUA IA) pour s’accorder avec les normes sectorielles et ses partenaires, ainsi que pour protéger ses clients. Vous pouvez en savoir plus en consultant notre Politique d’utilisation acceptable de l’IA.

La PUA IA de Salesforce est essentielle pour notre stratégie d’entreprise. C’est pourquoi nous avons pris le temps de consulter notre sous-comité de conseil consultatif sur l’utilisation éthique, nos partenaires, les leaders du secteur et les développeurs avant sa publication. En procédant ainsi, nous avons pour objectif d’encourager l’innovation responsable et de protéger les personnes qui font confiance à nos produits au fur et à mesure de leur développement. La PUA IA de Salesforce n’est qu’un point de départ et est axée sur l’utilisation de l’IA avec les produits Salesforce. Pensez à élaborer vos propres règles ou principes en matière d’IA afin de vous assurer que votre entreprise l’utilise dans le respect de ses valeurs éthiques.

Normes en matière de sécurité des agents

Envisagez d’avoir recours à ces mesures de sécurité pour mettre en place des normes de sécurité relatives au contrôle des accès, à la protection des données et à l’utilisation responsable des agents dans votre organisation.

Catégorie	Type	Recommandation
Contrôle d'accès	Contrôles d’accès stricts	Implémentez des contrôles d’accès appropriés pour faire en sorte que seules les personnes devant connaître des informations spécifiques et ayant des besoins métiers pertinents soient autorisées à interagir avec les modèles et services d’IA générative. Lors de la conception des agents, il convient d’identifier de manière exhaustive l’ensemble de l’étendue de l’agent et ses actions potentielles afin de déterminer quels sont les contextes d’exécution appropriés. Pour les actions critiques, envisagez de faire opérer des agents dans des contextes utilisateur de services individuels afin d’implémenter des contrôles d’accès granulaires et de minimiser les risques de sécurité potentiels.
Contrôle d'accès	Suivi et audit	Créez des alertes, et surveillez et auditez régulièrement l’accès aux modèles et aux services d’IA générative afin de détecter et d’empêcher toute utilisation non autorisée.
protection des données	Contrôles d’intégrité	Ajoutez des contrôles d’intégrité relatifs aux données internes et à celles des clients. Suivez les règles adéquates en ce qui concerne la sécurité des applications, la sauvegarde et la restauration, ainsi que les configurations de base.
Utilisation responsable	Traitement des données des clients	Prenez des mesures pour traiter correctement les données personnelles des clients. Veillez à ce que les données ne soient collectées et utilisées que pour des raisons légitimes et à ce que les personnes concernées soient dûment informées et consentantes.
	Transparence à l’égard des clients	Veillez à ce que les services n’effectuent pas d’inférences invisibles pour votre client.
	Modération du contenu	Fournissez un filtre de modération du contenu pour les services d’IA générative et activez-le par défaut lorsqu’il est disponible.
	Utilisation éthique	Établissez des lignes directrices relatives à l’utilisation éthique de l’IA générative afin de garantir qu’elle est utilisée dans le respect de la vie privée et de la sécurité.

De la théorie à la pratique

Nous avons beaucoup parlé de l’IA agentique de confiance dans ce module et de la façon dont Salesforce la développe. Vous comprenez maintenant les principaux risques associés à l’IA agentique, tels que les comportements inattendus, les biais et les violations de données. Vous avez également découvert les garde-fous spécifiques et les modèles de confiance qui garantissent que les agents IA opèrent dans le cadre de paramètres sûrs et éthiques. Vous comprenez l’importance d’encourager des pratiques responsables en matière d’IA dans votre propre organisation, par le biais du recours à une équipe rouge éthique, de la réalisation de tests et de la mise en place d’une politique d’utilisation acceptable de l’IA.

Grâce à ces connaissances, vous êtes sur la bonne voie pour créer des agents IA non seulement efficaces, mais aussi dignes de confiance et responsables !

Durée estimée

Thèmes

Besoin d'aide ?

Ressources Agentforce