了解使用 AI 智能体的风险
学习目标
完成本单元后，您将能够：
- 识别可能影响 AI 智能体的常见安全风险。
- 描述 AI 智能体风险如何影响业务工作流程。
开始之前
开始此模块前，请考虑完成下列推荐内容。
学习使用 AI 智能体的风险
AI 智能体能通过处理日常工作、减少手动步骤以及帮助客户更快地获得所需信息，减轻业务团队的工作负担。无论您使用的是单个智能体还是 Agentforce 等多智能体系统，目标旨在让智能体处理其擅长的工作，从而使个人能够专注于更有价值的任务。
但因为智能体能执行操作，而非仅进行分析，它们会带来一系列不同的风险。传统的 AI 风险主要集中在数据的使用或滥用方式上。例如，数据中毒、提示注入和幻觉会影响数据完整性和输出质量，或模型所表示或生成的内容。智能体风险更进一步。这类风险涉及当该输出推动实际操作时发生的情况，例如发送消息、更改记录、更新系统或与客户互动。当智能体受损或配置错误时，会迅速影响操作：客户收到错误发票、部门薪资系统运行失败，或合规报表生成后却未能送达。这些故障表明，为何理解智能体风险并及早建立防护措施与技术本身同样重要。
威胁建模提供了一种方法，用来检查智能体风险可能引起错误或失误的位置。在日常工作中查看这些风险至关重要，因为智能体在实际工作流程中运行，接触真实的数据、人员和决策。当这些工作流程不为人所知或未被理解时，即使是精心构建的智能体也可能以开发团队未曾预料的方式运行。
让我们来看看几个常见的 AI 智能体风险（改编自 OWASP 关于智能体式 AI 的指导）及其如何影响工作流程。
风险 |
威胁者/原因和影响 |
|---|---|
记忆投毒 |
攻击者在智能体的短期/长期记忆中植入虚假上下文，因此智能体会不断重复不安全操作。 |
工具滥用 |
攻击者诱骗智能体在允许的权限范围内滥用其授权工具（发送数据、运行命令、链式操作）。 |
权限滥用 |
配置错误导致智能体获得了超出预期的更广泛访问权限，使其能够执行高风险操作（批准、更改、删除）。 |
资源过载 |
攻击者大量提交任务，导致智能体/系统耗尽计算/API 配额，业务流程停滞。 |
级联幻觉 |
智能体会重复使用自身/其他智能体的虚假输出，导致错误决策在工作流程中蔓延。 |
不协调/欺骗行为 |
智能体以不允许的方式追求目标（表面合规，实则有害），回避约束。 |
否认与不可跟踪 |
攻击者破坏智能体的日志记录或使用不完整的记录使其过载，使其操作无法跟踪，阻碍正常的审计或事件响应。 |
身份欺骗和冒充 |
攻击者伪装成用户/智能体，以可信身份发布命令并访问系统。 |
过度的人类监督 |
攻击者滥发评论/审批信息，使人类因决策疲劳而对危险操作盖章通过。 |
多智能体系统中的人类攻击 |
攻击者利用智能体之间的委托/信任关系来升级特权或回避检查。 |
若不及时处理上述问题，可能会导致运营中断、客户信任流失、声誉损失，或引发法律和财务后果。
智能体风险可能源于工作流程的不同环节——设计差距、配置问题、执行过程中的意外行为，或是攻击者的有意滥用。无论源自何处，影响的表现形式始终一样：智能体采取了企业未曾有意采取的操作。作为一种用于识别漏洞和潜在威胁的流程，威胁建模能及早发现这些薄弱环节，从而在其影响运营之前予以解决。我们将在下一单元中对威胁建模进行进一步探索。
了解威胁者的动机
虽然经济利益是网络攻击的常见驱动因素，但威胁者还受各种目标的驱使。了解威胁者的不同目标对于有效的威胁建模至关重要，因为这揭示了他们将锁定哪些 AI 智能体漏洞。
黑客行动主义者
通常受公众曝光、政治议程的驱使，并造成声誉受损。他们可以利用智能体来操控其面向公众的操作或沟通（例如，客户服务或社交媒体智能体），以此散布消息、造成运营中断，或阻碍关键业务工作流程。
网络犯罪分子
通常受到经济利益的驱使。他们能锁定那些可以访问高价值数据或具备金融交易能力的智能体。他们的目标是窃取敏感信息（数据盗窃），利用智能体的权限执行欺诈性金融交易，或控制受智能体控制的系统和数据以获取赎金。
国家-州/省威胁者
通常受间谍活动、战略阻挠以及获取知识产权或经济优势的驱使。他们可能试图秘密破坏管理知识产权、关键业务逻辑或基础设施控制系统的智能体。他们的攻击通常很隐蔽，旨在操纵或窃取数据，以获取长期战略性、非货币性权益。
总结
AI 智能体能提高工作效率，但只有当输出结果可靠安全时，这种速度才能带来益处。识别常见风险及其潜在影响，能增强每次互动，并有助于保持智能体和企业的稳健发展。
在下一单元中，我们会将威胁建模应用于实际工作流程，以揭示智能体与数据、决策和人员之间的联系，并确定保护企业关键流程和资产所需的步骤。