Skip to main content
From 16:00 UTC on January 17, 2026, to 20:00 UTC on January 17, 2026, we will perform planned maintenance on the Trailhead, myTrailhead, and Trailblazer Community sites. During the maintenance, these sites will be unavailable, and users won't be able to access them. Please plan your activities around this required maintenance.

了解 AI 威胁和防御

学习目标

完成本单元后,您将能够:

  • 确定日常应用的 AI 风险和防御策略。
  • 描述网络防御程序在保护系统、用户和企业方面的作用。

随着我们进一步进入人工智能 (AI) 领域,对其道德考量和安全协议的理解变得更加重要。记住,AI 不仅提供了革命性的便利,而且还带来了潜在的风险。

在进入 AI 网络攻击和防御这个重要话题之前,让我们简要地谈谈这些双重维度。

AI 网络攻击和防御

随着 AI 步入日常生活——比如帮助您选择要看的电影、关注您的家庭安全,甚至帮助您的孩子完成家庭作业——知道这种便利伴随着一系列风险这一点很重要。正如我们看到技术的发展一样,那些希望利用它的人的策略也在发展。

了解日常 AI 使用的风险

首先,AI 系统本身受到攻击。

  • 毒害算法:可以把这看作是向 AI 提供不良信息以获得错误的答案。想象一下,如果您车里的 GPS 被故意误导,将您送到错误的位置。
  • 数据篡改:这就像改变智能厨房遵循的食谱中的成分一样,可能会导致某顿饭不是您期望或想要的。
  • 未授权的访问:想象一下,如果有人可以向您的声控家庭助理低声发出秘密命令,并在未授权的情况下对其进行控制。

两个并排的流程图。左侧的流程图列出了 AI 学习模型的各个阶段,从数据集到学习算法再到机器学习模型。右侧的流程图列出了相同的阶段,但包括数据集阶段的中毒攻击,该攻击使得最后一个阶段“中毒”。

其次,存在直接对您产生影响的风险。

  • 数字模仿:您可能听说过深度伪造,其中可以重现某人的相貌和声音,精准度吓人。可以用来伪造来自受信任的朋友或家人的消息。
  • AI 驱动的骗局:是否曾收到过看似合法但感觉有点不对劲的电子邮件或短信?AI 可以生成非常令人信服的诈骗信息,意在诱骗您透露敏感信息。
  • 智能恶意软件:这些是病毒或有害软件,可以适应您的行为并从中学习。例如,如果您经常网购,恶意软件可能会瞄准您的付款信息。

最后是可能影响您的工作场所或更广泛社区的风险。

  • 企业数据篡改:如果企业依赖 AI 进行运营,那么扰乱该 AI 可能会导致违反公司利益的行为。
  • 声誉受损:对于使用 AI 与客户互动的企业来说,如果该 AI 系统受到损害,可能会导致信任丧失。

用户在维护 AI 安全与道德方面发挥着重要作用。虽然有些控制超出了最终用户的范围,但在您的影响范围内有一些可操作的步骤,以保持您在家庭和工作中的 AI 体验既安全又合乎道德。以下是您能做到的部分。 

  • 了解情况:阅读您使用的任何 AI 驱动的应用程序或服务的隐私政策和服务条款。准确了解正在收集哪些数据以及如何使用这些数据。
  • 定期更新:保持更新您的应用程序和软件。这样做,您不仅可以收到最新的安全补丁,还可以收到解决 AI 系统内道德考量的补丁。
  • 启用安全设置:使用所有可用的安全选项,例如双重身份验证,尤其是对于有权访问个人数据的 AI 驱动型服务。
  • 查看和审核:定期查看与 AI 系统共享的数据。删除不必要的信息并调整设置以限制数据暴露。
  • 持怀疑态度:如果消息或视频看起来不对劲,那可能确实不对。在共享信息或进行操作之前,请谨慎并验证信息。
  • 教会他人:与朋友和家人共享您关于使用 AI 的道德和安全注意事项的知识和见解。
  • 报告问题:如果您遇到有偏见或不道德的行为,请报告。报告问题取决于遇到有问题的 AI 行为的背景。
    • 服务提供商:第一联系人应该是提供 AI 服务的公司或组织。大多数平台都有安全或道德问题的报告机制。
    • 监管机构:对于更严重的情况,尤其是涉及隐私或歧视的个案,您可能需要向相关政府或监管机构报告问题,例如美国的联邦贸易委员会 (FTC) 或平等就业机会委员会 (EEOC) 或国际司法管辖区的类似实体。
    • 内部渠道:如果您的雇主提供 AI 系统供工作场所使用,请向 AI 部门或指定的道德委员会(如果有)报告问题。
    • 开发人员小组:如果是开源软件,通常可以通过 GitHub 等存储库直接向开发人员报告问题。

通过采取这些步骤,您可以为 AI 领域的安全和道德责任文化做出贡献。这不仅仅是享受智能技术带来的好处,也关乎如何明智地使用技术。

随着我们深入研究以 AI 为中心的世界,识别和缓解这些特定威胁对于保护我们的数字未来至关重要。 

AI 和网络防御

对于 AI 带来的所有挑战,也有望在网络安全方面提供变革性的解决方案。配置 AI 后,网络防御者可以通过一系列技术来有效防御基于 AI 的攻击。让我们更深入挖掘并回顾一下 AI 在网络防御实践中提供帮助的方式。

网络安全的角色 

保护和捍卫技术 

保护 AI 系统

  • 行为分析:AI 扫描一般用例中的异常模式,标记可能表明潜在威胁或攻击的偏差。
  • 鲁棒性训练:训练 AI 模型通过将攻击暴露于恶意输入来抵御攻击,从而增强系统弹性。
  • 模型监控:持续监控模型以检查其训练行为与实际行为之间的差异,有助于检测后门攻击或数据中毒引起的任何异常情况。
  • 数据验证:AI 可以实时验证训练数据的完整性,在恶意或有毒数据影响模型之前发现并过滤掉这些数据。

确保人员安全

  • 深度伪造检测:可以训练高级 AI 算法通过检测人类可能忽略的视频、音频或图像中的细微差别来发现深度伪造。
  • 实时网络钓鱼检测:AI 可以快速扫描电子邮件和其他通信形式,以寻找网络钓鱼的迹象。通过分析大量的网络钓鱼数据,AI 甚至可以识别新的、复杂的网络钓鱼策略。
  • 自适应威胁情报:使用 AI,网络安全系统可以适应 AI 驱动的恶意软件不断变化的策略。这是通过识别新模式,不断学习和发展来实现的。
  • 最终用户行为分析 (EUBA):通过分析正常的用户简档,AI 可以实时检测异常活动。这可以防止受感染的 AI 系统带来的潜在威胁。

捍卫商业使命

  • 预测分析:AI 可以通过分析历史数据中的模式来预测未来的安全威胁。这种积极主动的方法可以帮助企业在威胁出现之前应对威胁,确保与其使命保持一致。
  • 自动响应系统:在检测到任何威胁后,AI 可以自动响应,以便企业审查并确定合适的行动,无论是隔离系统、启动备份还是发送警报。速度通常至关重要,自动化响应速度通常比人更快。
  • 集成威胁情报:AI 可以集成来自各个系统的各种威胁情报源,以及纳入指南的可操作(基于最高效率可能性)建议,以有效应对指定威胁。
  • 语义分析:通过理解通信的上下文和语义,AI 可以检测到提示注入的细微迹象或其他试图操纵 AI 驱动的决策过程的尝试。

通过利用 AI 的能力,网络安全可以主动有效地防御针对 AI 和 AI 引发的恶意攻击带来的无数威胁。虽然挑战在不断变化,但将 AI 集成到网络安全中可以产生一种为现代数字时代量身定制的,动态、自适应和强大的防御机制。

使用 AI 监控网络的人。

规划前进的道路

AI 和网络安全的交集呈现出一种范式转变,引发每位网络安全专业人士的深刻共鸣。AI 的复杂性和潜力不仅重新定义了技术格局,还为技能提升、知识获取和绩效影响开辟了新的途径。

这种转变的核心是认识到 AI 的能力只与其脆弱性匹配。对于网络安全专业人员来说,这意味着迎来以下广泛的机会。

  1. 教育和训练:随着 AI 模型变得越来越复杂,我们加深理解的需求也越来越大。专注于以 AI 为中心的网络安全的定制课程和认证很快会变得很有吸引力,且必不可少。
  2. 技能增强:曾经满足要求的工具和技术可能无法抵御未来 AI 驱动的威胁。在部署 AI 时,在威胁检测和分析、自动化事件响应策略和道德考量方面的持续技能发展至关重要。
  3. 扩大影响:随着 AI 与行业的整合,网络安全的作用从保护系统扩展到塑造业务轨迹。一个安全可靠的 AI 模型可以推动业务增长,增强用户信任,并确保遵守道德规范。

随着 AI 的进步,未来需要适应和创新。通过持续学习、完善技能和做出更有影响力的贡献这一目标,网络安全专业人员不仅要驾驭 AI 领域,还将定义这一领域。

总结

在本模块中,您已经了解了 AI 在职业和个人生活中的应用,以及 AI 的伦理和安全影响。您还了解了 AI 网络攻击以及防御攻击的方法。基于这些了解,您现在既可以支持 AI 的创新,又可以加强其防御!

有兴趣了解有关网络安全角色的更多信息并听取安全专家的意见吗?在 Trailhead 上查看网络安全职业路径 

资源

在 Salesforce 帮助中分享 Trailhead 反馈

我们很想听听您使用 Trailhead 的经验——您现在可以随时从 Salesforce 帮助网站访问新的反馈表单。

了解更多 继续分享反馈