定义智能体护栏

学习目标

完成本单元后，您将能够：

阐述有助于保障 Agentforce 可信度的护栏。
识别与您的 Agentforce 项目相关的潜在风险。
定义项目的风险缓解策略。

Trailcast

如果您想收听本模块的录音，请使用以下播放器。听完这段录音后，记得返回每个单元，查看资源，然后完成相关评估。

自主式 AI 的风险

自主式 AI 智能体是功能强大的工具，能为您的组织创造价值并提升客户体验。但同时也伴随着风险。这些风险包括：安全威胁、数据泄露、声誉损害、经济损失、偏见、幻觉，以及透明度和问责性问题。

尽管存在风险，但在组织中安全部署自主式 AI 仍然可行。通过合理规划并借助 Salesforce Platform，您可以构建并实施一整套可信的 AI 智能体。

可信的 AI 智能体

在可信智能体式 AI 中，您了解到 Agentforce 的一个突出特点是它对护栏的重视。这些护栏为每个智能体界定了操作边界，明确规定了智能体可为与不可为的范畴。您可以使用自然语言指定智能体的行为准则和工作方式。

除了 AI 智能体的护栏，Salesforce Platform 内置的 Einstein 信任层还能确保智能体的操作符合您公司的安全与合规标准。该信任层包含有害与毒性内容检测机制，可防止智能体进行不当或有害活动。

在本单元中，我们将跟随 Nora 一起，与 Coral Cloud 的 AI 委员会协作，识别其自主式 AI 用例的相关风险，并制定应对这些风险的方案。

治理机制不容忽视

虽然 Salesforce 为 AI 智能体构建的护栏功能强大且稳健，但 Nora 清楚，并非 Coral Cloud 的所有护栏都完全依托于技术本身。技术之外的措施同样至关重要。

Coral Cloud 在制定 AI 战略时，团队就建立了 AI 治理实践，这有助于他们为 AI 智能体规划全面的风险缓解策略。

以下是关于 AI 治理的一个示例：在 Coral Cloud，AI 委员会要求所有新的 AI 项目都必须经过安全审查。这是一项业务流程（而非技术功能），旨在保护组织规避 AI 风险。Nora 安排了安全审查，确保公司能更深入地思考该项目的护栏与治理。

处理异议

在一些组织中，风险议题难以展开，因为风险缓解措施常被视为拖慢开发进度的负担。然而，提前处理风险至关重要，否则 AI 项目可能在尚未投入生产之前就被迫中止。

将风险管理融入 AI 的设计与原型开发阶段反而能够加速项目进程，并确保项目符合必要的伦理、法律、监管及安全要求。若您掌握了某个用例的风险管理方法，便能迅速将这些经验推广到后续的用例中。

用更通俗的语言解释智能体是什么以及它能为您的业务带来什么价值，这有助于建立坚实的基础。这个基础可应用到未来的项目中，确保后续的 AI 实施能够更顺利且更高效。

如何构建风险对话

那么，应如何开启关于风险的对话呢？我们推荐使用“人员、业务、技术与数据”框架，这对许多组织而言可能并不陌生。这些类别及其相关考量因素，可帮助您识别出与您的 Agentforce 项目相关的潜在风险与隐忧。

类别	注意事项
人员	赋能：角色与职责、招聘、培训与技能提升文化与实践：以人为本的 AI 设计、变革管理与应用
业务	价值：效益收益、目标、关键绩效指标 (KPI) 与衡量标准运营：组织架构、能力管理、流程与工作流程、AI 治理、DevOps 策略
技术	AI 工具：AI 基础设施、应用程序、API、提示与安全保障机制 AI 模型：模型选择、训练考量、管理与成本
数据	质量：适用性、准确性、完整性、可访问性、时效性等策略：数据管理、基础设施、治理与分析

信息图呈现人员、业务、技术与数据四大维度。

识别风险与隐忧

Nora 运用此框架来探讨与 Coral Cloud 预约管理用例相关的风险与隐忧。Coral Cloud AI 委员会的利益相关者针对每个类别识别出了可能存在的风险与隐忧。请注意，此列表并不详尽，每个用例都可能存在各自独特的风险与隐忧。

类别	风险
人员	拒绝：客户不愿与智能体沟通，源于不信任或对是否允许使用 AI 存在疑虑。滥用：客户对智能体表现出敌意或试图操控智能体。文化：员工担忧 AI 对服务岗位的潜在影响，导致团队士气受挫。
业务	适用性：智能体的功能范围与业务组织架构或团队流程不匹配。报告：引入 AI 智能体承担部分工作后，原有团队关键绩效指标失去效力。激励：薪酬与奖励机制因工作职责被智能体分流而受影响。运营：升级处理流程不明确、效率低下或令人困扰。智能体表现：公司政策未能有效引导 AI 智能体的响应行为。
技术	准确性：幻觉导致响应质量下降，或 Knowledge 覆盖不全。可靠性：智能体生成响应的多样性过于广泛。审计：技术操作无法追溯智能体响应的准确度。延迟：智能体无法实现及时响应。
数据	访问：数据权限未被理解或执行不力，可能导致数据向客户泄露。隐私：所需数据的使用方式与隐私政策存在矛盾。合规：目前尚不清楚是否有任何客户合同限制条款适用于这些数据；例如，也许数据不能离开客户业务所在的国家。目标适配性：数据与智能体目标不一致，或数据权限设置与用例不匹配。道德：模型数据中的偏见可能导致不当响应。

在 Nora 的个案中，可以清楚看到公司 Knowledge 文章的局限性将如何影响其应用策略。但 Coral Cloud 同样可能面临上述诸多风险。毕竟，如果智能体在响应时未遵循度假村政策，或员工无法追踪智能体的辅助效果，那么想要提供五星级体验将绝非易事。

定义风险缓解策略

Coral Cloud AI 委员会已完成风险与隐忧的归纳，Nora 与她的团队可以集思广益，针对每项风险制定缓解策略。在拟定潜在护栏时，他们会对每项护栏分类，以确定它是否与人员、业务、技术或数据相关。

以下是 Coral Cloud 已识别风险中两项风险的潜在护栏示例。

风险类别	风险	潜在护栏
人员	客户拒绝：用户因不信任而不愿与智能体沟通。	人员护栏：制定沟通策略并对客户开展宣导说明会。技术护栏：在智能体的设计中，明确告知用户其 AI 身份。技术护栏：配置智能体的欢迎语，对其能力及可提供的帮助设置合理预期。
业务	升级处理问题：智能体向服务代表的交接不一致、效率低下或令客户困扰。	业务护栏：定义从 AI 升级至服务代表的标准与上下文。技术护栏：配置 Agentforce，以便将智能体此前交互的摘要交接给服务代表。技术护栏：在智能体指令中，清晰描述应触发升级的关键词、语言或请求。

Nora 已制定计划，准备缩小预约管理实施方案的范围。同时，她也可采取措施，为向智能体咨询业务信息的客户设定合理预期。在这种情况下，这可能意味着在智能体的欢迎语中增加免责声明，说明这旨在解答预约相关问题。并包含获取其他服务信息的最佳途径指引。

记录与实验

Nora 与 AI 委员会完成风险缓解实践后，会记录用例的风险与护栏。记录 Coral Cloud 的风险缓解活动，对满足监管合规要求至关重要，对内部审计也很有用。

请记住，迭代与文档记录同等重要。要确保技术护栏切实有效，请深入了解 Sandbox 环境，尝试在 Agentforce 中配置防护措施。亲自动手测试护栏在不同场景下的表现。这有助于及早发现缺陷与问题，并做出必要调整。通过文档记录与实践测试相结合，您可为 AI 智能体制定风险缓解策略。

在初步治理方案确立后，Nora 准备着手开展项目的另一个重要环节：描述 Coral Cloud 智能体将执行的具体工作。

时间估计

主题

需要帮助？

Agentforce 资源