了解 Salesforce 如何构建可信智能体式 AI
学习目标
完成本单元后，您将能够：
- 定义可信智能体式 AI 的含义。
- 描述与智能体相关的主要风险。
- 解释负责任的智能体式 AI 的指导原则。
Trailcast
如果您想收听本模块的录音，请使用以下播放器。听完这段录音后，记得返回每个单元，查看资源，然后完成相关评估。
开始之前
我们建议您查看这些徽章，以便更好地理解 AI 解决方案的治理和信任策略。
什么是可信智能体式 AI？
在 Salesforce，信任是我们的第一价值观。这同样适用于我们的智能体式 AI。Salesforce 智能体式 AI 基于 Salesforce 负责任的 AI 指南构建，该指南是应对平台上 AI 智能体快速增长相关的新挑战的基础。
虽然价值观和指导原则至关重要，但用具体行动来支持它们也同样重要。为此，Salesforce 实施了 Einstein 信任层、Agentforce 护栏和信任模式。此外，我们还采用合乎道德的红队测试和 AI 可接受的使用政策 (AUP)，使 AI 系统在安全和合乎道德的参数范围内运行。这些措施不仅强化了公司的价值观，还为构建和维护对 AI 技术的信任提供了坚实的基础。
在谈论 Salesforce 如何帮助您构建可信的 Agentforce 之前，请先掌握一些术语。
Agentforce
Agentforce 是 Salesforce Platform 智能体层的品牌，涵盖面向客户和员工的智能体。
智能体
智能体可自主行动，以目标为导向，执行任务和业务交互，几乎无需人工输入。它们可以发起并完成一个或一系列任务，处理自然语言对话，并安全地提供从业务数据中提取的相关答案。智能体可用于支持 Salesforce 用户并与其协作完成工作流。它们也可代表用户或客户执行操作。智能体可以部署在 Salesforce 界面或客户渠道中。
智能体式 AI
智能体式 AI 是一种 AI 系统，使 AI 智能体能够自主运行、做出决策并适应变化。通过提供促进学习和适应的工具和服务，它能推动 AI 智能体与人类之间的协同合作。
负责任的智能体式 AI 的指导原则
Salesforce 致力于负责任地开发和使用智能体。以下是我们遵循的主要原则。
准确性
推理引擎是 Agentforce 背后的“大脑”，利用主题分类将用户请求映射到特定主题。主题包含一系列指令、业务策略以及智能体可执行的操作。这确保智能体能够专注于其应执行的任务。
通过落地训练流程（将您的 Salesforce 组织中的相关上下文信息融入提示中），智能体可以利用 Salesforce 中组织的数据来生成响应，从而提高准确性和相关性。这使智能体在生成回复时能够充分利用组织的 Salesforce 数据。
安全性
我们的智能体内置了安全保障措施，以防止出现意外后果并确保安全响应。
- 我们制定了系统策略来限制智能体的响应范围，确保智能体始终围绕主题进行响应，并且响应方式安全、合乎道德。请参阅 Einstein 信任层帮助主题中的“提示防御”部分。
- Einstein 信任层可检测智能体响应中的有害内容，并将其记录在审计跟踪中，以便您可以进行监控并做出相应的响应。
- 我们与第三方大语言模型 (LLM) 提供商实行零数据留存政策，防止您的数据被留存在 Salesforce 信任边界之外。这项零数据留存政策以及我们与 LLM 提供商的合同承诺，确保您的数据不会被用于训练第三方 LLM。
诚信
我们尊重数据来源，并征得用户同意后方可使用。我们对 AI 生成的内容秉持透明原则，当内容由 AI 生成时会予以说明。当 AI 生成响应时，我们会提供标准披露信息，以确保用户知情。
赋能
我们专注于人类与 AI 的协作。AI 必须服务于人类，尤其在需要人类判断的任务中。部分任务可实现全自动化处理，而其他任务则需人工监督。我们帮助人们做出高风险决策，同时自动化日常任务，确保人类与 AI 高效协作。
可持续发展
我们的目标是创建高效的 AI 模型，以减少对环境的影响。经过良好训练的较小模型胜过较大的模型。另外，我们还采用高效的硬件和低碳数据中心。智能体使用针对特定任务量身定制的优化模型，例如 xLAM 和 xGen-Sales，在确保高性能的同时，最大限度地减少对环境的影响。
基于这些原则，我们设计出可靠、安全、透明、赋能和可持续的智能体。Salesforce 致力于运用 AI 提升人类的能力，同时恪守我们的核心价值观。
主要风险和隐忧
随着 AI 系统自主性增强，它们被滥用和产生意外后果的可能性也随之增加。确保这些系统以合乎道德且透明的方式运行，对于维持用户信任、防范危害至关重要。以下是需要考虑的主要风险。
意外后果
AI 智能体的自主操作可能导致意外、甚至具有潜在危害的后果。例如，生成带有偏见或冒犯性的内容、做出错误决策，或与用户交互时，违反 Salesforce 道德准则。AI 程序与学习模式的交互可能导致意外或不良行为，进而削弱用户信任并引发安全隐患。
安全和隐私
安全和隐私至关重要，尤其是在智能体处理敏感数据时。如果设计时没有充分考虑安全因素，就可能会导致敏感数据无意中泄露，从而损害用户信任。
道德和法律注意事项
智能体必须遵守政策和法律要求。确保智能体的行为合乎道德并遵守法律，对于避免法律问题和维护信任至关重要。
人类控制力下降
随着智能体自主性增强，人类可能越来越难以对其进行监督。这可能会导致错误、违反道德规范、对用户造成伤害以及损害平台的声誉。
自动化偏见
用户可能过于信任 AI 输出，认为它们总是准确可靠的。检索增强生成 (RAG) 会加剧这种偏见，即使 AI 输出是错误的，也会使它们看起来十分权威可信。这种过度信赖会引发错误。
用户滥用行为日益增多
随着越来越多的用户与生成式 AI 互动，滥用的可能性也随之增加。用户可能滥用 AI 达成有害目的，或误解其正当使用方式，从而引发诸如生成不当内容、侵犯隐私等问题。
我们采取了多项缓解措施。我们在平台和产品中内置了护栏，通过红队测试进行对抗性测试，并制定了 AI 可接受的使用政策来保护用户。此外，我们还允许您自定义产品护栏，使其符合您的组织价值观和合规要求。我们将在接下来的两个单元中详细讨论。
在本单元中，您了解了自主智能体及相关风险。我们还探讨了开发 AI 智能体的基本原则和实践，以及如何在 Salesforce 中设计护栏。在下一单元中，您将学习如何使用 Agentforce 护栏和信任模式来实施可信智能体式 AI。