責任ある倫理的なエージェントを推進する

学習の目的

この単元を完了すると、次のことができるようになります。

倫理的なレッドチーミングとテスト計画を実装する。
組織の基本原則と標準を定める。

責任あるエージェントの基本原則

AI を導入している組織の多くは、AI 計画を立てる前に、責任ある AI の原則を確立することが有用であると考えています。AI の原則を定めていれば、ビジネスが AI に対する自らの立場を明確にし、従業員やお客様、社会に対するテクノロジーの影響を考慮することができます。ビジネスニーズやユースケースに基づいて独自のガイドラインを設定するときは、Salesforce のガイドラインが参考になります。各自のユースケースにおける安全性について検討します。また、業界固有の安全要件が定められている可能性がある法律、規則、規制がないか確認します。

独自の基本原則を確立する第一歩として、信頼できる AI を開発するための Salesforce の基本原則を振り返ってみましょう。

正確性
安全性
誠実性
能力強化
サステナビリティ

レッドチーミングとテスト計画

レッドチームとは、通常はセキュリティや AI 倫理などのエキスパートの一団で、組織のシステムに侵入して望ましくない出力や結果をもたらすセキュリティやその他の問題を見つけて修正を試みます。

レッドチーミングは、「AI システムや製品を精査して、機能、出力、インフラストラクチャに対する有害な脅威を特定する構造化されたプロセス」と定義されます。

3 つの手に握られた虫眼鏡が、三角形上に感嘆符がある警告サインをかざしています。

テストは、安全を確保し、意図しない結果を防ぐ重要な要素です。テストを実施するときは次の点を検討します。

どのような害悪をテストするのか理解する。ビジネス目標やユースケースに応じたテストの目標と目的を設定します。
テストを実施するチームを編成する。テストの対象である敵対的な思考や攻撃の構想に関する知識と経験を持ち合わせた社内外のエキスパートを起用します。
テストを定期的に実施して、AI やエージェントを取り巻くテクノロジーや敵対的な思考の進化に後れを取らないようにする。

Salesforce におけるレッドチーミングのアプローチをご紹介します。Salesforce では、AI 製品の安全性を高める目的で、手動と自動の両方のレッドチーミング手法を採用しています。悪用、プロンプトインジェクションのような意図的な整合性攻撃、偶発的な誤使用をテストします。Salesforce では、悪意のある使用や無害な誤使用が発生した場合のシステムの安全性を確保するために、毒性、バイアス、セキュリティに対する AI レッドチーミングを実施しています。

テストの種別

説明

手動

手動テストでは、人間のテスト担当者が創造性、経験、専門知識を発揮して、自動システムでは失敗する可能性がある複雑な攻撃計画を考案します。さらに、人間のテスト担当者が特定の環境、標的、目標に合わせてアプローチを調整し、攻撃を現実的なものにします。

自動

自動テストは、人間が行うテストや評価の代替策ではなく、強化策として実施されます。この種のテストでは、スクリプト、アルゴリズム、ソフトウェアツールを使用して、短時間のうちにさまざまな攻撃や脅威をシミュレーションします。また、リスクを調べて定量化し、システムのリスク対象領域を検証します。

私たちは社内外のエキスパートと連携して侵入テストを実施し、エージェントに固有のリスクやユースケースに対処しています。

包括的な概要については、責任あるレッドチーミングのブログを参照してください。

モデルのベンチマーキング

Salesforce では、その AI モデルを業界標準と比較して、パフォーマンスが最高レベルであることを確認しています。さらに、CRM 向け LLM で初のベンチマークを公開しています。ベンチマークの重要な測定値を共有することで、AI システムがどの程度機能しているか理解でき、お客様にも説明しやすくなります。

倫理的なテストの未来

Salesforce のテスト/評価/調査チームは、AI 製品の信頼性と安全性の確保に尽力しています。厳格なテストプロセス、プロアクティブなレッドチーミング、包括的なベンチマーキングを実施して、最高水準の AI 整合性の維持に努めています。継続的な改善とイノベーションの文化を育み、お客様に信頼してもらえる AI ソリューションの提供に取り組んでいます。

AI の許容される使用に関するポリシー

Salesforce では、業界標準やパートナーとの整合性を図り、お客様を保護する目的で、AI の許容される使用に関するポリシー (AI AUP) を公開しています。詳細は、「AI Acceptable Use Policy (AI の許容される使用に関するポリシー)」を参照してください。

Salesforce の AI AUP は、私たちのビジネス計画の中心に位置付けられています。AI をリリースする前に倫理的な使用に関する諮問委員会の小委員会、パートナー、業界リーダー、開発者と協議する時間を設けたのはそのためです。その協議での私たちの目的は、責任あるイノベーションであることを確認し、Salesforce で開発される製品に信頼を寄せる人々を守ることです。Salesforce AI AUP はこの出発点で、Salesforce 製品での AI の使用を対象としています。各自の会社で、その倫理的なバリューを尊重したやり方で AI を活用するための独自の AI ルールや原則を定めることを検討します。

エージェントのセキュリティ標準

組織のアクセスコントロール、データ保護、エージェントの責任ある使用のセキュリティ標準を定める目的で、次のセキュリティ対策を検討します。

カテゴリ	種別	推奨
アクセスコントロール	厳格なアクセスコントロール	適切なアクセスコントロールを実装して、知る必要があり、ビジネス要件を満たす人々のみが生成 AI モデルやサービスとやり取りできるようにします。エージェントを設計するときは、エージェントの全般的な範囲と潜在的なアクションを包括的に特定し、実行する適切なコンテキストを決定します。極めて重要なアクションについては、細かなアクセスコントロールを実装し、潜在的なセキュリティリスクを最小限に抑えるために、個々のサービスユーザーのコンテキスト内でエージェントを実行することを検討します。
アクセスコントロール	監視と監査	アラートを作成し、生成 AI モデルやサービスへのアクセスに対する定期的な監視や監査を実施して、不正使用を検出して防止します。
データ保護	整合性コントロール	社内データと顧客データの両方に整合性コントロールを追加します。アプリケーションのセキュリティ、バックアップと復元、基本設定の適切なルールを遵守します。
責任ある使用	顧客データの取り扱い	お客様の個人データを適切に取り扱う措置を講じます。データは必ず正当な理由に基づいて収集して使用し、データ主体に適切に通知し、同意を取り付けていることを確認します。
	お客様に対する透明性	サービスがお客様の背後で推論を行わないようにします。
	コンテンツモデレーション	生成 AI サービスに対するコンテンツモデレーション条件を設定し、使用可能な場合はデフォルトで有効にします。
	倫理的な使用	生成 AI の倫理的な使用に関するガイドラインを確立し、プライバシーとセキュリティを尊重する方法で使用されるようにします。

理論から実践へ

このモジュールでは、信頼できるエージェント型 AI のさまざまな基本事項と、Salesforce が信頼できるエージェント型 AI をどのように開発しているかについて説明しました。これで、予期しない動作、バイアス、データ侵害など、エージェント型 AI に付随する主なリスクについて理解できました。また、AI エージェントを安全かつ倫理的な範囲内で動作させる特定のガードレールや信頼パターンも習得しました。倫理的なレッドチーミング、テスト、AI の許容される使用に関するポリシーの確立などの方法で、各自の組織で責任ある AI の使用を促進することの重要性を理解しました。

こうした知識を備えていれば、効果的なだけでなく、信頼性が高く責任ある AI エージェントの構築に向けて前進することができます!

予想時間

トピック

ヘルプをお探しですか?

Agentforce のリソース