進行状況の追跡を始めよう
Trailhead のホーム
Trailhead のホーム

人工知能のバイアスの認識

学習の目的

この単元を完了すると、次のことができるようになります。

  • 倫理的であることと合法的であることの違いを理解する。
  • AI システムに入り込む可能性のあるバイアスの種類を特定する。
  • AI システムへのバイアスの進入口を見つける。

倫理的であることと合法的であることの違い

倫理と法律は相補的な関係にあります。けれども時として、倫理的なテクノロジを開発するためには、法律を超越して考える必要のあることがあります。たとえば、米国連邦法では一定の特性が保護され、雇用、昇進、居住、貸与、医療などに関する決定において通常はこうした特性を使用することができません。保護されている分類は、性別、人種、年齢、障害、肌の色、国籍、宗教や信条、遺伝情報などです。AI モデルでこれらの特性を使用すれば、法律に違反するおそれがあります。AI モデルがこれらの特性を合法的に利用できる状況で判断を下しているとしても、これらの特性に伴うバイアスを容認することが倫理に反する場合があります。保護されている分類に関する問題は、プライバシーや合法性の領域に踏み込む可能性もあるため、GDPR のトレイルを受講して詳細を確認しておくことをお勧めします。最後に、Salesforce Einstein が許容される使用に関するポリシーに準じた方法で使用される場合とそうではない場合を認識しておくことも重要です。

幸いにも、AI ではバイアスに体系的な方法で対処することができます。従来、会社の意思決定で、個別の判断によってバイアスがかかった結果がもたらされたことに気付いても、プロセス全体を再設計し、この内在的なバイアスを克服することは容易いことではありませんでした。AI システムを使用する現在では、設計の段階で公平性を浸透させ、既存の実務を改善することができます。

AI モデルの法的影響や倫理的影響を慎重に検証するほか、各自のモデルが人権の尊重や促進に対するビジネスの責任と合致しているかどうかも評価する必要があります。国際人権法や、国連が定める人権尊重に対するビジネスの責任を考慮します。この指導原則には、人権への影響を評価し、その評価に基づいて行動し、影響にどのように対処しているかを報告するデューデリジェンスプロセスが記載されています。 

注意すべきバイアスの種類

バイアスはさまざまな形で現れます。体系的な過誤の結果であることもあれば、社会的な偏見の結果であることもあります。この区別が曖昧な場合もあります。バイアスのこうした 2 つの根源を念頭に、バイアスが AI システムに入り込む可能性があるパターンを見ていきましょう。 

測定バイアスとデータセットバイアス

データのラベル付けや分類が間違っていたり、データの処理がずさんな場合は、測定バイアスが生じます。測定バイアスが発生する可能性があるのは、人がデータに間違ったラベルを付けたり、機械に誤作動があった場合などです。データセット内のある特性、要因、集団が過多あるいは過少になることがあります。 

ではここで、害悪のない例として、猫と犬の画像認識システムを見てみましょう。猫や犬の写真で構成されるこのトレーニングデータは単純明快なように思われます。けれども、この画像セットは黒い犬と、白か茶色の猫の写真のみで構成されています。白い犬の写真をこの AI に提示すると、猫に分類されます。実際のトレーニングデータがこれほど単純であることは稀ですが、思いがけない結果が生じ、深刻な事態を引き起こすおそれがあります。 

トレーニングデータの図。6 匹の黒い犬、4 匹の白い猫、2 匹の茶色の猫の写真が予測モデルの学習アルゴリズムに取り込まれています。このモデルは、0.96 の信頼性で白い犬を「猫」と分類します。

第 1 種過誤と第 2 種過誤

ある銀行が AI を使用して、ローン申請者が返済するかどうかを予測する場合を考えてみます。申請者がローンを返済可能とシステムが予測したのに、申請者が返済しなかった場合を偽陽性、あるいは第 1 種過誤といいます。申請者がローンを返済不能とシステムが予測したのに、申請者が返済した場合を偽陰性、あるいは第 2 種過誤といいます。銀行は、返済可能と確信できる相手に融資をしたいと考えます。リスクを最小限に抑えるために、銀行のモデルは偽陰性よりも偽陽性を避けようとします。けれども、偽陰性のケースでは、システムに返済不能と誤って判断された申請者に害悪がもたらされます。 

一方が銀行のリスクが低いローンを表し、もう一方がリスクの高いローンを表すシーソーが、リスクの高い方に傾いています。

関連付けバイアス

ステレオタイプに基づいてデータにラベルが付けられると、関連付けバイアスが生じます。大半のオンライン小売業者で「女の子向けのおもちゃ」と検索すると、おままごと、人形、お姫様、ピンクのおもちゃなどが次々と表示されます。「男の子向けのおもちゃ」を検索した場合は、スーパーヒーローのアクションフィギュア、大工セット、ビデオゲームなどが表示されます。 

確証バイアス 

確証バイアスとは、先入観に基づいてデータにラベルが付けられることです。オンラインショッピング時に表示されるおすすめには、各人の購買習慣が反映されていますが、こうした購入に影響を及ぼすデータ自体に、そもそも人々が表示して購入を選択したものが反映されています。つまり、おすすめによってステレオタイプが増幅されます。Web サイトの「女の子向けのおもちゃ」セクションにスーパーヒーローが表示されなければ、買物客がサイトの他の場所にスーパーヒーローのおもちゃがあることを知る可能性は低く、購入する可能性はさらに低下します。

自動化バイアス 

自動化バイアスは、システムの価値を他の人々に押し付けることです。2016 年に AI が審査した美人コンテストの例を見てみましょう。この目的は、客観性という概念に基づいて最も美しい女性を選び出すことでした。けれども、問題の AI は白さに重点を置いた西洋の美しさの基準で審査しました。その結果、勝者の大半が白人でした。 

自動化バイアスは AI だけに限りません。カラー写真の歴史を見てみましょう。1950 年代中ごろから、Kodak は写真現像室を提供していましたが、フィルムを現像する際には Shirley Page という白い肌の従業員の画像を使用して肌の色、影、光を調整していました。その後さまざまなモデルが使用されましたが、それらの画像は「Shirley カード」として知られるようになりました。Shirley が誰であっても (当初は常に白人でした)、Shirley の肌の色が標準とされました。カナダの Concordia 大学のメディア学教授である Lorna Roth はカードが最初に作成されたときについて次のように NPR に語っています。「カメラを購入する人の大半は白色人種でした。そのため、より幅広い肌の色へと市場を拡大する必要性を感じなかったのでしょう。」1970 年代には、Kodak はさまざまな肌の色でのテストを開始し、多民族の Shirley カードを作成しました。

社会的バイアス 

社会的バイアスによって、歴史的にマイノリティとされてきた集団に対する過去の偏見の結果が再現されます。赤線引きについて考えてみましょう。1930 年代、連邦住宅政策では望ましさの観点で特定の地域が色分けされていました。赤でマークされた地域は危険と見なされていました。これらの地域では、マイノリティへの低コストの住宅融資が拒否されることがよくありました。今日に至るまで、赤線引きは特定の郵便番号地域での人種や経済的な構成に影響を与えており、郵便番号と人種の相関関係が高い場合があります。モデルのデータポイントに郵便番号を含めれば、ユースケースによってはアルゴリズムの判断要因に意図せず人種を含めてしまう可能性があります。米国では、金融業務のさまざまな判断において、年齢、人種、性別など保護対象のカテゴリを使用することが違法であることを忘れないようにします。 

勝ち抜きバイアス

時として、アルゴリズムが選抜された人々や、特定のプロセスを勝ち抜いた人々のみに着目し、除外された人々には目を向けないことがあります。採用の実務を見てみましょう。たとえば、あなたが会社の採用責任者で、特定の大学の卒業生の中から採用すべきかどうか判断したいとします。そこで、その大学出身の現在の従業員の業績を検討します。けれども、その大学の出身者で採用されなかった人々や、採用後に解雇された人々の業績は検討されません。「勝ち残った」人々の業績のみに目を向けることになります。 

大学別の採用における勝ち抜きバイアスを表すインフォグラフィック。3 校の大学を卒業した応募者のみが 1 つ目の関門を通過し、採用された応募者のうち退職しなかった人々のみが 2 つ目の関門を通過します。最後の集団は、この 3 校出身の採用者を表すものではありません。

操作バイアス

人間が AI システムを操作するときや、AI システムに意図的に影響を及ぼそうとするときに、操作バイアスが生み出され、バイアスのかかった結果が生成されます。この一例が、人々がチャットボットに意図的に下品な言葉を覚えさせようとする場合です。 

どのようにしてシステムにバイアスが入り込むのか?

バイアスが AI システムに入り込むルートには、商品の制作者経由、トレーニングデータ経由 (またはデータセットにデータを提供するすべてのソースに関する情報の欠如)、AI が導入される社会的状況などが挙げられます。

思い込み

ある人が特定のシステムの構築に着手する場合、何を構築すべきか、誰のために構築すべきか、どのように機能すべきか (誰からどのようなデータを収集すべきか) について思い込みを抱いていることがあります。思い込みがあるからといって、システムの制作者に悪意があるわけではありませんが、私たち人間は、他の全員の経験を常に把握することや、そのシステムが他者にどのような影響を及ぼすかを予測することはできません。研究や設計プロセスの当初から多様な関係者や参加者を含めれば、商品に独自の思い込みが入り込む余地を制限することができます。また、AI システムには多様なチームで取り組むようにする必要があります。多様なチームを雇用する利点については、「平等であることのビジネス価値」トレイルを参照してください。

トレーニングデータ

AI モデルにはトレーニングデータが必要で、データセットには簡単にバイアスがかかります。企業がこれまで同じ大学の同じ学部の出身者、あるいは同じ性別の応募者ばかり採用してきたのであれば、採用 AI システムはこれらの人々を最高の候補者として学習します。このシステムが、これらの条件を満たさない応募者を推薦することはありません。

モデル

機械学習のモデルを作成するときは、モデルに使用する要因 (人種、性別、年齢など) によって、こうした特性で定義される特定の集団に対してバイアスのかかったレコメンデーションや予測が行われる可能性があります。また、これらの特性を暗示する要因にも気を付けなければなりません。たとえば、相手の名から性別、人種、国籍が暗示されることがあります。このため、Salesforce Einstein のリードスコアリングや商談スコアリングモデルでは、名を要因に使用していません。

Einstein のセールスリードと商談スコアリング。ダイアログボックスに、[【Zip code has a high correlation to Race and may be adding bias into the predictive model from this story.|郵便番号は人種と相関が高いため、この情報から予測モデルにバイアスがかかる可能性があります。】] という警告が示されています。

人為操作 (またはその欠如)

トレーニングデータを編集すると、モデルの動作に直接的な影響が及び、バイアスが付加されること、あるいはバイアスが取り除かれることがあります。質の悪いデータや過多のデータポイントを削除したり、ラベルを追加したり、カテゴリを編集したり、年齢や人種などの特定の要素を排除したりすることがあります。または、モデルをそのままにしておくことで、状況によってはバイアスの余地が残ることもあります。

AI システムの関係者がシステムのレコメンデーションについてフィードバックできるようにする必要があります。このフィードバックは、暗黙的である場合もあれば (システムが顧客の好きそうな書籍をおすすめしても、顧客が購入しなかった場合など)、明示的である場合もあります (顧客がレコメンデーションに「いいね!」と言った場合など)。こうしたフィードバックを基に、たった今行った動作に似たことを行うようにモデルがトレーニングされます。また GDPR に従って、EU 市民に対しては、企業が本人に関する誤った情報を保有している場合は修正することや、その会社に自身のデータの削除を依頼することができるようにする必要があります。法律で義務付けられていなくてもこうした対応をすることがベストプラクティスです。AI が正確なデータに基づいてレコメンデーションを行うようになり、また顧客の信頼が得られるためです。

AI によってバイアスが増幅される可能性

バイアスのかかったデータセットに基づく機械学習によって、こうしたバイアスが増幅されることが少なくありません。あるで、写真データセットの時点では、料理に関する写真の人物が男性より女性のほうが 33% 多かったのに、アルゴリズムによってこのバイアスが 68% に増大されていました。詳細は、「リソース」セクションのブログ投稿を参照してください。

リソース