Connaissance des risques liés à l’utilisation d’agents IA
Objectifs de formation
Une fois cette unité terminée, vous pourrez :
- Identifier les risques de sécurité courants susceptibles d’affecter les agents IA
- Décrire comment les risques liés aux agents IA peuvent avoir un impact sur les flux de travail de l’entreprise
Avant de commencer
Avant de commencer ce module, nous vous invitons à consulter entièrement le contenu recommandé suivant.
-
Concepts de base de l’IA générative
-
Introduction à Agentforce
-
Menaces pour la cybersécurité et acteurs malveillants
Présentation des risques liés à l’utilisation d’agents IA
Les agents IA peuvent alléger la charge de travail des équipes commerciales en gérant les tâches de routine, en limitant les étapes manuelles et en aidant les clients à obtenir ce dont ils ont besoin plus rapidement. Que vous utilisiez un seul agent ou un système multiagent comme Agentforce, l’objectif est de laisser les agents s’occuper du travail qu’ils maîtrisent afin que vous puissiez vous concentrer sur les tâches à plus forte valeur ajoutée.
Toutefois, le fait que les agents aient la capacité d’agir, et pas seulement d’analyser, entraîne un ensemble de risques différent. Les risques traditionnels liés à l’IA concernent la manière dont les données sont utilisées ou détournées. Par exemple, l’empoisonnement des données, l’injection d’invites et les hallucinations affectent l’intégrité des données et la qualité des résultats, ainsi que ce que le modèle dit ou produit. Les risques liés aux agents sont encore plus importants. Ils englobent ce qu’il se passe lorsque ce résultat entraîne des actions réelles, telles que l’envoi de messages, la modification d’enregistrements, la mise à jour de systèmes ou l’interaction avec des clients. Lorsqu’un agent est compromis ou mal configuré, la situation se répercute rapidement sur les opérations : un client reçoit une facture erronée, le traitement de la paie d’un service ne s’exécute pas ou un rapport de conformité est généré, mais n’est jamais transmis. Ces défaillances montrent pourquoi la compréhension des risques liés aux agents et la mise en place de garde-fous en amont sont aussi importantes que la technologie en elle-même.
La modélisation des menaces permet d’identifier les risques d’erreurs ou de faux pas causés par les agents. Il est important d’examiner ces risques dans le contexte du travail quotidien, car les agents opèrent dans le cadre de flux de travail réels, sont en contact avec des données ainsi que des personnes, et interviennent dans des décisions concrètes. Lorsque ces flux de travail ne sont pas connus ou compris, même les agents bien conçus peuvent se comporter de manière inattendue pour l’équipe de développement.
Examinons quelques risques courants liés aux agents IA, inspirés des conseils de l’OWASP sur l’IA agentique ainsi que l’impact qu’ils peuvent avoir sur les flux de travail.
Risque |
Acteur/Cause et impact |
|---|---|
Empoisonnement de la mémoire |
Les pirates alimentent la mémoire à court/long terme d’un agent avec un contexte erroné, de sorte que l’agent répète des actions non sécurisées au fil du temps. |
Mauvaise utilisation des outils |
Les pirates incitent l’agent à utiliser de manière abusive les outils autorisés (envoyer des données, exécuter des commandes, enchaîner des actions) dans les limites des autorisations accordées. |
Compromission des privilèges |
Des configurations inadéquates donnent à l’agent un accès plus large que prévu, ce qui lui permet d’effectuer des actions à haut risque (approbation, modification, suppression). |
Saturation des ressources |
Les pirates saturent les tâches de sorte que l’agent/le système n’ait plus de quota de calcul/d’API et que les processus métier soient bloqués. |
Hallucinations en cascade |
Les agents réutilisent leurs propres résultats erronés ou les résultats erronés d’autres agents, ce qui propage les mauvaises décisions dans l’ensemble des flux de travail. |
Comportements inappropriés ou trompeurs |
L’agent cherche à atteindre un objectif par des moyens interdits (il semble se plier aux règles, mais il agit de manière préjudiciable) en contournant les contraintes. |
Répudiation et intraçabilité |
Les pirates perturbent la connexion de l’agent ou le surchargent d’enregistrements incomplets, ce qui rend ses actions impossibles à retracer et empêche la réalisation d’audits appropriés ou la réponse aux incidents. |
Usurpation d’identité et emprunt d’identité |
Les pirates se font passer pour un utilisateur/agent afin d’émettre des commandes et d’accéder à des systèmes sous une identité de confiance. |
Accablement du facteur humain |
Les pirates envoient des demandes d’examen/d’approbation en masse afin que le personnel approuve les actions risquées par lassitude des décisions. |
Attaques humaines contre les systèmes multiagents |
Les pirates exploitent la délégation/la confiance entre les agents pour renforcer leurs privilèges ou contourner les contrôles. |
Chacun de ces problèmes peut entraîner des perturbations opérationnelles, une perte de confiance de la part des clients, une atteinte à la réputation ou des conséquences juridiques et financières s’il n’est pas résolu.
Les risques liés aux agents peuvent intervenir à différents moments d’un flux de travail : lacunes dans la conception, problèmes de configuration, comportement inattendu pendant l’exécution ou utilisation abusive intentionnelle par des pirates. Quelle que soit la source, les conséquences se manifestent de la même manière : les agents prennent des mesures que l’entreprise n’avait pas prévues. La modélisation des menaces, qui est un processus utilisé pour identifier les vulnérabilités et les menaces, permet de mettre en évidence ces points faibles en amont, de sorte qu’ils puissent être traités avant qu’ils n’aient une incidence sur les opérations. Nous reviendrons sur ce concept dans l’unité suivante.
Facteurs de motivation des acteurs malveillants
Si le gain financier est un moteur courant des cyberattaques, les acteurs malveillants sont motivés par divers objectifs. Comprendre les objectifs des acteurs malveillants est essentiel pour modéliser efficacement les menaces, car cela permet de savoir quelles vulnérabilités de l’agent IA vont être ciblées.
Hacktivistes
Ils sont généralement motivés par une exposition publique, un agenda politique et une atteinte à la réputation. Ils peuvent utiliser des agents pour manipuler leurs actions ou communications publiques (par exemple, des agents du service clientèle ou des réseaux sociaux) afin de diffuser leur message, de provoquer des perturbations opérationnelles ou d’entraver des flux de travail critiques pour l’entreprise.
Cybercriminels
Ils sont généralement motivés par un gain financier. Ils peuvent cibler les agents ayant accès à des données de grande valeur ou à des opérations de transactions financières. Leur objectif est d’extraire des informations sensibles (vol de données), d’exploiter les autorisations d’un agent pour exécuter des transactions financières frauduleuses ou de demander une rançon pour les systèmes et les données contrôlés par l’agent.
Acteurs étatiques
Ils sont généralement motivés par l’espionnage, l’obstruction stratégique et l’obtention de données relatives à la propriété intellectuelle ou d’un avantage économique. Ils peuvent chercher à compromettre secrètement les agents qui gèrent des données relatives à la propriété intellectuelle, une logique métier critique ou des systèmes de contrôle de l’infrastructure. Leurs attaques sont généralement subtiles et visent à manipuler ou à voler des données pour en tirer un avantage stratégique à long terme et non pécuniaire.
Conclusion
Les agents IA permettent d’accélérer le travail, mais cette rapidité n’est bénéfique que si les sorties sont fiables et sûres. Reconnaître les risques courants et leur impact potentiel renforce chaque interaction et aide les agents et l’entreprise à garder le cap.
Dans l’unité suivante, nous appliquerons la modélisation des menaces à des flux de travail réels pour mettre en évidence les points de contact des agents avec les données et les personnes, ainsi que les moments où ils interviennent dans les décisions. Nous identifierons également les étapes nécessaires à la protection des processus et des actifs critiques de l’entreprise.