Identification et gestion des risques liés aux agents IA

Objectifs de formation

Une fois cette unité terminée, vous pourrez :

Identifier les points de contact des agents avec les données, les personnes et les décisions dans vos flux de travail
Utiliser la modélisation des menaces pour atténuer les risques liés aux agents IA

Avant de commencer

Avant de commencer ce module, nous vous invitons à consulter entièrement le contenu recommandé suivant.

Modélisation des menaces dans les flux de travail de l’entreprise

La modélisation des menaces est un moyen structuré d’examiner le fonctionnement de vos systèmes, d’identifier ce qui peut mal tourner et de décider comment gérer ces risques avant qu’ils ne causent des problèmes. Dans cette unité, vous utilisez une version simplifiée de la modélisation des menaces pour déterminer où les agents s’intègrent dans vos processus d’entreprise et où le risque peut se présenter.

Avant de se plonger dans la modélisation des menaces au niveau du code, il est utile de comprendre comment les agents IA s’intègrent dans le flux de travail global de l’entreprise. L’analyse STRIDE (acronyme anglais pour usurpation, falsification, répudiation, divulgation d’information, déni de service et augmentation des privilèges) est un cadre de modélisation des menaces bien connu de la plupart des développeurs, qui l’utilisent pour identifier les menaces de sécurité technique au sein des applications. Toutefois, même la meilleure analyse STRIDE ne permet pas de détecter tous les risques liés à la manière dont les agents sont utilisés.

Lorsque les développeurs et les professionnels de la sécurité comprennent le flux de travail de l’entreprise, le modèle de menace devient plus précis. Ils déterminent les étapes les plus importantes et à quel moment les décisions d’un agent se répercutent en externe et en interne. Ils commencent à remarquer des risques qui n’apparaissent pas dans un environnement de développement intégré (IDE). Les problèmes tels que les approbations manquantes, les défaillances silencieuses ou les transferts peu clairs n’apparaîtront pas dans un éditeur de code. Ces problèmes apparaissent toutefois rapidement lorsque le flux de travail lui-même est modélisé et examiné.

La modélisation des menaces au niveau du flux de travail révèle les défaillances en matière de contrôle, les situations où les agents s’appuient sur des hypothèses et les cas dans lesquels une petite lacune peut se transformer en un problème ayant un impact sur l’activité de l’entreprise.

Avant de créer votre propre flux de travail, examinez cet exemple et découvrez comment la moindre étape oubliée peut interrompre un processus entier, même lorsque toutes les parties du système semblent fonctionner.

Scénario : le rapport manquant

Avant de définir votre propre flux de travail, commençons par un petit exercice pour nous mettre en condition.

Le rapport trimestriel de conformité de votre entreprise a disparu. Le système indique qu’il a été généré, mais qu’il n’a jamais été envoyé au régulateur. L’agent automatisé responsable de la collecte, de l’examen et de l’envoi par e-mail du rapport indique qu’il a effectué toutes les étapes avec succès. Voici le flux de travail simplifié.

Étape	Auteur de l’action	Description
1. Les données sont collectées à partir des systèmes financiers.	Agent IA	Il extrait des données à partir de plusieurs bases de données.
2. Le rapport est généré.	Agent IA	Il compile les données et met en forme le rapport.
3. Le rapport est examiné.	Humain	Il vérifie les totaux et approuve le rapport.
4. Le rapport est envoyé par e-mail.	Agent IA	Il envoie la copie finale à l’autorité de régulation.

Votre tâche

Examinez chaque étape et notez les cas dans lesquels l’agent intervient, puis posez-vous la question suivante :

Quand le rapport aurait-il pu ne pas passer à l’étape suivante (non enregistré, non transféré ou non envoyé) ?
Quel contrôle ou quelle vérification aurait permis de détecter cette défaillance plus tôt ?
Qui aurait dû être informé du non-transfert du rapport ?

Il n’est pas nécessaire de rédiger une réponse complète, mais il suffit de réfléchir à ce qui a pu causer la défaillance et à ce qu’il faut rechercher en premier lieu. Cet exercice montre comment de petites défaillances (un oubli de vérification ou un manque de clarté quant à la propriété) peuvent se répercuter sur le flux de travail.

Corrigé : le rapport manquant

Plusieurs causes sont possibles, mais voici quelques causes probables et les leçons à en tirer.

Étape	Ce qui aurait pu mal tourner	Comment cela aurait pu être évité
1. Les données sont collectées à partir des systèmes financiers.	Il se peut que l’agent n’ait jamais commencé l’étape de collecte des données, de sorte que le flux de travail ne s’est pas poursuivi jusqu’à la création du rapport.	Ajoutez un contrôle de déclenchement qui confirme que le processus a démarré et que la collecte des données initiale s’est déroulée correctement avant de poursuivre.
2. Le rapport est généré.	L’agent a créé le rapport, mais ne l’a pas stocké dans le bon dossier ni indiqué qu’il devait être envoyé.	Ajoutez une vérification automatique pour confirmer que le rapport est enregistré, correctement nommé et prêt à être envoyé.
3. Le rapport est examiné.	Le réviseur humain a approuvé le fichier, mais n’a pas confirmé que l’action d’envoi avait été déclenchée.	Intégrez une liste de contrôle ou un tableau de bord qui indique si la livraison est en attente, en cours ou terminée.
4. Le rapport est envoyé par e-mail.	L’agent a essayé d’envoyer l’e-mail, mais l’action a échoué ou les autorisations ont expiré, et aucune alerte n’a été émise.	Ajoutez des étapes de confirmation de livraison et de notification afin que le réviseur sache que le rapport a été envoyé.

Ce scénario montre comment les risques liés aux agents peuvent se manifester dans les flux de travail réels : vérifications manquantes, transferts peu clairs et défaillances non signalées. Ces problèmes sont surtout visibles pour les développeurs, les administrateurs système, les professionnels de la cybersécurité, ainsi que les personnes chargées de la configuration et de la maintenance du flux de travail. L’examen précoce de ces points de contact permet d’éviter que de petites lacunes ne se transforment en défaillances ayant une incidence sur l’entreprise.

Mise en pratique avec votre propre flux de travail

Vous allez maintenant utiliser cette même perspective dans le cadre d’un flux de travail interne. L’objectif est de voir où les agents entrent en contact avec les personnes, les données et les systèmes, et où les risques sont les plus susceptibles d’apparaître. Suivez ces quatre étapes pour cartographier le flux de travail, identifier les points de risque et réfléchir à la manière de les gérer.

Étape 1 : création de votre flux de travail

Commencez par choisir un processus dans lequel des agents sont actifs (assistance à la clientèle, planification, intégration).
Identifiez les étapes du début à la fin.
Notez l’auteur du déclenchement du processus, les données transmises et le rôle de l’agent.

Exemple : flux de travail de l’agent pour l’assistance à la clientèle

Demande du client → L’agent examine les données → L’agent répond → Approbation humaine → Mise à jour du système

Étape 2 : indication des interactions

Recherchez ensuite les points d’interaction avec votre agent :
- Personnes (utilisateurs, employés, clients)
- Données (informations lues, écrites ou stockées)
- Systèmes (applications, API, bases de données)
Mettez en évidence ces points de contact. C’est là que les risques sont les plus susceptibles d’apparaître.

Exemple : Demande du client (saisie de données) → L’agent examine les données (connexion à l’API) → L’agent répond → Approbation humaine (examen humain) → Mise à jour du système

Étape 3 : utilisation d’une modélisation de la menace

Posez-vous maintenant quelques questions simples à chaque point de contact.

Qu’est-ce qui pourrait mal tourner ?
Que se passe-t-il si l’agent prend une mauvaise décision ou agit trop tôt ou trop tard ?
Quel acteur pourrait exploiter cette étape ?

Créez un tableau simple pour indiquer où se situent les problèmes les plus importants. En voici un exemple abrégé.

Étape	Risque	Impact
Demande du client	Données manquantes ou incomplètes transmises par le client	L’agent répond de manière incorrecte ou ne peut pas accomplir la tâche.
L’agent examine les données	Accès excessif à l’API	Des données sensibles sont exposées.

Étape 4 : planification de votre réponse

Pour chaque risque que vous avez noté, décidez de la manière de le gérer.
- Corrigez la situation en renforçant les autorisations, en ajoutant des étapes d’examen ou en limitant les accès de l’agent.
- Surveillez-la en ajoutant des alertes, des journaux ou des examens réguliers.
- Acceptez-le en documentant les risques à faible impact afin de pouvoir les réexaminer ultérieurement.
Choisissez vos trois principaux risques et une réponse concrète pour chacun d’entre eux.

Exemple d’analyse des risques de sécurité

Étape	Risque	Réponse	Impact
Demande du client	Données manquantes ou incomplètes transmises par le client	Corriger : ajouter des champs obligatoires ou des contrôles de validation afin d’empêcher l’envoi de demandes incomplètes.	L’agent reçoit des informations complètes et précises et peut répondre correctement.
L’agent examine les données	Accès excessif à l’API	Surveiller : ajouter des alertes si l’agent tente d’accéder à des données en dehors des systèmes approuvés.	Les analystes de sécurité détectent les accès inhabituels ou dangereux aux données avant qu’ils ne deviennent un problème plus important.

Conclusion

Dans cette unité, vous avez défini un flux de travail, identifié les interactions des agents avec les personnes, les données et les systèmes, et utilisé un objectif simplifié de modélisation des menaces pour découvrir les risques. Gardez cette vue d’ensemble du flux de travail à l’esprit lorsque vous passez à des cadres formels de modélisation des menaces tels que STRIDE et d’autres. Elle peut vous aider à identifier les menaces techniques les plus profondes et le contexte du flux de travail garantit que ces efforts restent axés sur l’essentiel : veiller à ce que les agents IA soient en phase avec la mission et les résultats de l’entreprise.

Durée estimée

Thèmes

Besoin d'aide ?

Ressources Agentforce