认识人工智能中的偏见

学习目标

完成本单元后，您将能够：

• 介绍开发 AI 系统过程中数据的角色。
• 认识到合乎道德和合法之间的区别。
• 识别可能会进入 AI 系统的偏见类型。
• 找到偏见进入 AI 系统的切入点。

关注人工智能

人工智能可以放大人类的智力、放大人类的能力、提供可行的见解，为我们的员工、客户、合作伙伴和社区取得更好的结果。

我们相信 AI 应该造福每个人，而不仅仅是创造者。仅仅提供 AI 的技术能力是不够的。我们还要有重要的责任感，确保客户以一种对于所有人来说都安全、包容的方式使用我们的 AI。我们认真履行那份责任并承诺为员工、客户、合作伙伴和社区提供他们所需的工具，以便安全、准确、有道德地开发和使用 AI。 

如您在人工智能基础知识徽章中所了解，人工智能是一个统称，是指教电脑执行复杂任务，行为方式看起来像人类。此类任务的培训通常需要大量数据，使计算机能够学习数据中的模式。这些模式构成一个模型，代表一个复杂的系统，就像您可以创建一个太阳系模型一样。有了优质模型，您就能进行高质量的预测（比如预测下一次日食的发生时间）或生成优质内容（比如以海盗的口吻为我写一首诗）。

我们并非总是知道为什么一个模型作出了某个具体的预测或生成某类内容。Frank Pasquale，The Black Box Society（《黑箱社会》）的作者，把这种缺乏透明度的现象描述为黑箱现象。尽管创造 AI 的公司可以解释他们的系统背后的过程，但是他们很难实时说出正在发生的事情、以什么顺序发生，包括模型中哪里可能存在偏见。说到偏见和公平决策，AI 引发了一个独特的挑战。

什么是合乎道德，什么是合法？

每个社会都有公民需要遵守的法律。但是有时候您需要超越法律去思考问题，开发合乎道德的技术。比如，美国联邦法律保护在涉及招聘、提拔、住房、贷款或医疗的决策时您通常不能使用的一些特征。这些受保护的特征类别包括性别、种族、年龄、残疾、肤色、国籍、宗教或教派以及基因信息。如果您的 AI 模型使用这些特征，您可能违法了。如果您的 AI 模型在参考这些特征是合法的情况下作出决策，那么允许那些类型偏见仍然是不道德的。与受保护的类别有关的问题也可能牵涉到隐私和合法性，因此我们建议学习我们的 GDPR 学习路径，以了解更多。最后，通过我们的可接受使用策略，了解 Einstein 产品的可行和不可行的使用方式也很重要。

幸好 AI 创造了一个机会来系统地处理偏见。在过去，如果您意识到公司的决策由于个人决策而造成了带有偏见的结果，是很难重新设计整个流程并克服这种固有偏见的。现在，有了 AI 系统，我们有机会将公平性融入设计，改进现有的做法。

除了仔细检查 AI 模型的法律和道德影响，您还应该评估您的模型是否符合企业尊重和促进人权的责任。您应该考虑联合国为企业尊重人权而制定的国际人权法律和责任，其中包括尽职调查程序，评估人权影响、根据评估结果采取行动，并就如何应对相关影响进行沟通。 

需要注意的偏见类型

偏见有各种表现形式。有时候它是系统性错误的结果。有时候它是社会成见的结果。有时候界限是模糊的。记住这两种偏见来源，我们来看一下偏见可能进入 AI 系统的途径。 

衡量或数据集偏见

当数据被错误地贴上标签或分类或过度简化时，它会导致衡量偏见。衡量偏见可能是在某人标记数据时犯错或通过机器的错误引入的。某个特征、因素或群体可能在您的数据集中占比过高或过低。 

我们来思考一个没什么害处的例子：一个猫狗图像识别系统。训练数据看起来足够直接——猫狗的照片。但是图集只包含黑狗以及白猫或棕色猫的照片。面对一张白狗的照片，AI 把它归类为猫了。尽管现实世界的训练数据很少会如此单调，但是结果可能跟这一样大错特错——带来严重后果。 

1 类相对于 2 类错误

试想一家用 AI 来预测某个申请人是否会偿还贷款的银行。如果系统预测申请人将有能力偿还贷款但是他没有偿还，则这是一个假阳性或 1 类错误。如果系统预测申请人将无力偿还贷款但是他偿还了，则这是一个假阴性或 2 类错误。银行想放贷给他们相信有能力还款的人。为了把风险降至最低，他们的模型倾向于 2 类错误。即便如此，假阴性也会伤害系统错误地判定为无力还款的申请人。 

联想偏见

根据刻板印象给数据贴标签是一个关联偏见示例。搜索大多数“女孩玩具”线上零售商，您会得到不尽其数的烹饪玩具、玩偶、公主和粉色产品。搜索“男孩玩具”，您会看到超级英雄人偶、工程装备以及电子游戏。 

确认偏见 

确认偏见根据先入为主的想法给数据贴标签。您在网购时看到的推荐反映您的购物习惯，但是影响购买行为的数据从一开始就已经反映人们看到什么、选择购买什么。您可以看出推荐系统如何强化刻板印象。如果超级英雄不出现在某个网站的“女孩玩具”区，购物者不太可能知道它们在网站的别处销售，购买几率就更低了。

自动化偏见 

自动化偏见把一个系统的价值观强加给别人。举个例子，2016 年由 AI 当评委的选美比赛。目标是以一定的客观性来选出最漂亮的女人。对于有问题的 AI 来说，它们训练所依据的主要是白人女性的图像，因此它们对于“美”的定义并不包括有色人种更常见的特征。因此，AI 选出的获胜者大多为白人，将训练数据中的偏差反映到现实世界的结果中。

自动化偏见不仅限于 AI。我们来回顾彩色摄影的历史。从 20 世纪 50 年代中期开始，柯达提供摄影实验室，用一个名叫 Shirley Page 的白皮肤员工的人像来冲洗胶卷，用来校准肤色、阴影和光线。虽然后来也使用了不同模特，但是这些人像后来被称作“Shirley 卡片”。Shirley 的肤色，不管她是谁（而且她一开始总是白皮肤），被认为是标准的。加拿大康考迪亚大学传媒学教授 Lorna Roth 告诉 NPR，第一次制作卡片时，“买相机的多数是白种人。因此我猜他们当时没有看到扩大市场以覆盖更多肤色人种的需求。”20 世纪 70 年代，他们开始测试不同肤色，制作了多种族的 Shirley 卡片。

社会偏见 

社会偏见重现针对历史上被边缘化群体的过往偏见的结果。思考红线歧视。20 世纪 30 年代，一项联邦住房政策按照宜居程度给部分社区贴上颜色标记。标记为红色的住房被认为是危险的。银行往往会拒绝向这些带红色标记的社区中的少数群体居民发放低成本住房贷款。时至今日，红线歧视一直影响着部分邮政编码的种族和经济构成，因此邮政编码可以是种族的代名词。如果您把邮政编码列入模型中的一个数据点，视用例而定，您可能无意中把种族作为一个因素纳入算法的决策之中。记住，在美国作出许多金融决策时使用受保护的类别，如年龄、种族或性别是违法的。 

幸存或幸存者偏差

有时候一个算法聚焦那些被选中的人，或是从某个过程幸存下来的人的结果，代价是忽略了那些被排除在外的人。我们来看招聘制度。假设您是一家公司的招聘总监，您想确定是否应该在某所大学招聘。于是您去看从这所大学招聘来的在职员工。但是那所大学落选的候选人，或是录取了但是后来放弃的人呢？您看到的只有那些“幸存者”的成功。 

交互偏见

人类在与 AI 系统交互或者试图刻意影响 AI 系统，以制造带偏见的结果时，制造交互偏见。比如当人们有意教机器人说粗话的时候。 

偏见如何进入系统？

您知道偏见可以通过产品的创造者、通过训练数据（或缺乏关于数据集的所有来源的信息），或者从部署 AI 的社会背景进入一个 AI 系统。

预设

开始打造一个特定的系统之前，人们往往会做出一些预设，应该建立什么、应该为谁而建、应该如何运行，包括向谁采集什么类型数据。这并不表示系统的创造者心怀不轨，而是作为人类，我们无法总是理解每个人的经历或预测特定的系统将如何影响别人。我们可以从一开始就让多元化的利益相关者和参与者加入我们的研究和设计过程，从而尽量限制我们自己的预设进入一个产品。我们还应该竭力让多元化的团队来开发 AI 系统。 

训练数据

AI 模型需要训练数据，很容易通过数据集引入偏见。如果一家公司历史上从相同的大学、相同的计划，或者沿着相同的性别路线招聘员工，那么招聘 AI 系统会学到那些是最佳候选人。系统不会推荐不符合那些条件的候选人。

模型

您用于培训人工智能模型的因素，比如种族、性别或年龄，可能导致对由那些特征所定义的特定群体作出带偏见的推荐或预测。您还需要留心用作这些特征的代名词的因素。比如，某人的名字，可以是性别、种族或原籍国的代名词。因此，Einstein 产品不会把名字列为其潜在客户和业务机会打分模型中的因素。

人为干预（或缺乏干预）

编辑训练数据直接影响模型的表现，可能会增加或消除偏见。我们可以剔除质量不好的数据或占比过高的数据点，添加标签或编辑类别，或者排除特定因素，比如年龄和种族。我们也可以保持模型的原样，视情况而定，这可能会给偏见留下空间。

AI 系统中的利益相关者应该有权就其推荐给出反馈。这可以是隐含的（比如，系统推荐一本客户可能会喜欢的书，但是客户没有购买）或明示的（比如，客户给某个推荐点赞）。这种反馈训练模型或多或少地完成它刚刚做过的事情。根据 GDPR，欧盟公民必须能够改正一家公司拥有的关于他们的错误信息，并且要求那家公司删除他们的数据。即使法律没有要求，这也是最佳做法，因为它确保您的 AI 根据准确的数据给出推荐，并且确保客户信任。

AI 可以放大偏见

基于带偏见的数据集的培训 AI 模型往往会放大那些偏见。在一个例子中，一个照片数据集涉及烹饪的照片中女性比男性多 33%，但是算法把那个偏见放大到了 68%。要了解更多，请看资源部分的博文。

资源

• Trailhead：人工智能基础知识
• 博客文章：如何在人工智能时代加速成功
• 博客文章：AI 不仅学习我们的偏见，而且放大偏见
• 帮助：Einstein 生成式 AI 术语