Skip to main content
Build the future with Agentforce at TDX in San Francisco or on Salesforce+ on March 5–6. Register now.

了解 AI 威胁和防御

学习目标

完成本单元后，您将能够：

  • 确定日常应用的 AI 风险和防御策略。
  • 描述网络防御程序在保护系统、用户和企业方面的作用。

随着我们进一步进入人工智能 (AI) 领域，对其道德考量和安全协议的理解变得更加重要。记住，AI 不仅提供了革命性的便利，而且还带来了潜在的风险。

在进入 AI 网络攻击和防御这个重要话题之前，让我们简要地谈谈这些双重维度。

AI 网络攻击和防御

随着 AI 步入日常生活——比如帮助您选择要看的电影、关注您的家庭安全，甚至帮助您的孩子完成家庭作业——知道这种便利伴随着一系列风险这一点很重要。正如我们看到技术的发展一样，那些希望利用它的人的策略也在发展。

了解日常 AI 使用的风险

首先，AI 系统本身受到攻击。

  • 毒害算法：可以把这看作是向 AI 提供不良信息以获得错误的答案。想象一下，如果您车里的 GPS 被故意误导，将您送到错误的位置。
  • 数据篡改：这就像改变智能厨房遵循的食谱中的成分一样，可能会导致某顿饭不是您期望或想要的。
  • 未授权的访问：想象一下，如果有人可以向您的声控家庭助理低声发出秘密命令，并在未授权的情况下对其进行控制。

两个并排的流程图。左侧的流程图列出了 AI 学习模型的各个阶段，从数据集到学习算法再到机器学习模型。右侧的流程图列出了相同的阶段，但包括数据集阶段的中毒攻击，该攻击使得最后一个阶段“中毒”。

其次，存在直接对您产生影响的风险。

  • 数字模仿：您可能听说过深度伪造，其中可以重现某人的相貌和声音，精准度吓人。可以用来伪造来自受信任的朋友或家人的消息。
  • AI 驱动的骗局：是否曾收到过看似合法但感觉有点不对劲的电子邮件或短信？AI 可以生成非常令人信服的诈骗信息，意在诱骗您透露敏感信息。
  • 智能恶意软件：这些是病毒或有害软件，可以适应您的行为并从中学习。例如，如果您经常网购，恶意软件可能会瞄准您的付款信息。

最后是可能影响您的工作场所或更广泛社区的风险。

  • 企业数据篡改：如果企业依赖 AI 进行运营，那么扰乱该 AI 可能会导致违反公司利益的行为。
  • 声誉受损：对于使用 AI 与客户互动的企业来说，如果该 AI 系统受到损害，可能会导致信任丧失。

用户在维护 AI 安全与道德方面发挥着重要作用。虽然有些控制超出了最终用户的范围，但在您的影响范围内有一些可操作的步骤，以保持您在家庭和工作中的 AI 体验既安全又合乎道德。以下是您能做到的部分。 

  • 了解情况：阅读您使用的任何 AI 驱动的应用程序或服务的隐私政策和服务条款。准确了解正在收集哪些数据以及如何使用这些数据。
  • 定期更新：保持更新您的应用程序和软件。这样做，您不仅可以收到最新的安全补丁，还可以收到解决 AI 系统内道德考量的补丁。
  • 启用安全设置：使用所有可用的安全选项，例如双重身份验证，尤其是对于有权访问个人数据的 AI 驱动型服务。
  • 查看和审核：定期查看与 AI 系统共享的数据。删除不必要的信息并调整设置以限制数据暴露。
  • 持怀疑态度：如果消息或视频看起来不对劲，那可能确实不对。在共享信息或进行操作之前，请谨慎并验证信息。
  • 教会他人：与朋友和家人共享您关于使用 AI 的道德和安全注意事项的知识和见解。
  • 报告问题：如果您遇到有偏见或不道德的行为，请报告。报告问题取决于遇到有问题的 AI 行为的背景。
    • 服务提供商：第一联系人应该是提供 AI 服务的公司或组织。大多数平台都有安全或道德问题的报告机制。
    • 监管机构：对于更严重的情况，尤其是涉及隐私或歧视的个案，您可能需要向相关政府或监管机构报告问题，例如美国的联邦贸易委员会 (FTC) 或平等就业机会委员会 (EEOC) 或国际司法管辖区的类似实体。
    • 内部渠道：如果您的雇主提供 AI 系统供工作场所使用，请向 AI 部门或指定的道德委员会（如果有）报告问题。
    • 开发人员小组：如果是开源软件，通常可以通过 GitHub 等存储库直接向开发人员报告问题。

通过采取这些步骤，您可以为 AI 领域的安全和道德责任文化做出贡献。这不仅仅是享受智能技术带来的好处，也关乎如何明智地使用技术。

随着我们深入研究以 AI 为中心的世界，识别和缓解这些特定威胁对于保护我们的数字未来至关重要。 

AI 和网络防御

对于 AI 带来的所有挑战，也有望在网络安全方面提供变革性的解决方案。配置 AI 后，网络防御者可以通过一系列技术来有效防御基于 AI 的攻击。让我们更深入挖掘并回顾一下 AI 在网络防御实践中提供帮助的方式。

网络安全的角色 

保护和捍卫技术 

保护 AI 系统
  • 行为分析：AI 扫描一般用例中的异常模式，标记可能表明潜在威胁或攻击的偏差。
  • 鲁棒性训练：训练 AI 模型通过将攻击暴露于恶意输入来抵御攻击，从而增强系统弹性。
  • 模型监控：持续监控模型以检查其训练行为与实际行为之间的差异，有助于检测后门攻击或数据中毒引起的任何异常情况。
  • 数据验证：AI 可以实时验证训练数据的完整性，在恶意或有毒数据影响模型之前发现并过滤掉这些数据。

确保人员安全
  • 深度伪造检测：可以训练高级 AI 算法通过检测人类可能忽略的视频、音频或图像中的细微差别来发现深度伪造。
  • 实时网络钓鱼检测：AI 可以快速扫描电子邮件和其他通信形式，以寻找网络钓鱼的迹象。通过分析大量的网络钓鱼数据，AI 甚至可以识别新的、复杂的网络钓鱼策略。
  • 自适应威胁情报：使用 AI，网络安全系统可以适应 AI 驱动的恶意软件不断变化的策略。这是通过识别新模式，不断学习和发展来实现的。
  • 最终用户行为分析 (EUBA)：通过分析正常的用户简档，AI 可以实时检测异常活动。这可以防止受感染的 AI 系统带来的潜在威胁。

捍卫商业使命
  • 预测分析：AI 可以通过分析历史数据中的模式来预测未来的安全威胁。这种积极主动的方法可以帮助企业在威胁出现之前应对威胁，确保与其使命保持一致。
  • 自动响应系统：在检测到任何威胁后，AI 可以自动响应，以便企业审查并确定合适的行动，无论是隔离系统、启动备份还是发送警报。速度通常至关重要，自动化响应速度通常比人更快。
  • 集成威胁情报：AI 可以集成来自各个系统的各种威胁情报源，以及纳入指南的可操作（基于最高效率可能性）建议，以有效应对指定威胁。
  • 语义分析：通过理解通信的上下文和语义，AI 可以检测到提示注入的细微迹象或其他试图操纵 AI 驱动的决策过程的尝试。

通过利用 AI 的能力，网络安全可以主动有效地防御针对 AI 和 AI 引发的恶意攻击带来的无数威胁。虽然挑战在不断变化，但将 AI 集成到网络安全中可以产生一种为现代数字时代量身定制的，动态、自适应和强大的防御机制。

使用 AI 监控网络的人。

规划前进的道路

AI 和网络安全的交集呈现出一种范式转变，引发每位网络安全专业人士的深刻共鸣。AI 的复杂性和潜力不仅重新定义了技术格局，还为技能提升、知识获取和绩效影响开辟了新的途径。

这种转变的核心是认识到 AI 的能力只与其脆弱性匹配。对于网络安全专业人员来说，这意味着迎来以下广泛的机会。

  1. 教育和训练：随着 AI 模型变得越来越复杂，我们加深理解的需求也越来越大。专注于以 AI 为中心的网络安全的定制课程和认证很快会变得很有吸引力，且必不可少。
  2. 技能增强：曾经满足要求的工具和技术可能无法抵御未来 AI 驱动的威胁。在部署 AI 时，在威胁检测和分析、自动化事件响应策略和道德考量方面的持续技能发展至关重要。
  3. 扩大影响：随着 AI 与行业的整合，网络安全的作用从保护系统扩展到塑造业务轨迹。一个安全可靠的 AI 模型可以推动业务增长，增强用户信任，并确保遵守道德规范。

随着 AI 的进步，未来需要适应和创新。通过持续学习、完善技能和做出更有影响力的贡献这一目标，网络安全专业人员不仅要驾驭 AI 领域，还将定义这一领域。

总结

在本模块中，您已经了解了 AI 在职业和个人生活中的应用，以及 AI 的伦理和安全影响。您还了解了 AI 网络攻击以及防御攻击的方法。基于这些了解，您现在既可以支持 AI 的创新，又可以加强其防御！

有兴趣了解有关网络安全角色的更多信息并听取安全专家的意见吗？在 Trailhead 上查看网络安全职业路径。 

资源

在 Salesforce 帮助中分享 Trailhead 反馈

我们很想听听您使用 Trailhead 的经验——您现在可以随时从 Salesforce 帮助网站访问新的反馈表单。

了解更多 继续分享反馈