エージェントのガードレールを定義する
学習の目的
この単元を完了すると、次のことができるようになります。
- Agentforce の信頼性を確保するガードレールについて説明する。
- Agentforce プロジェクトに付随する潜在的なリスクを特定する。
- プロジェクトのリスク緩和策を定義する。
Trailcast
このモジュールの音声録音をお聞きになりたい場合は、下記のプレーヤーを使用してください。この録音を聞き終わったら、必ず各単元に戻り、リソースを確認して関連付けられている評価を完了してください。
自律型 AI のリスク
自律型 AI エージェントは組織に価値をもたらし、カスタマーエクスペリエンスを向上させる極めて強力なツールです。その一方で、リスクを伴います。例として、セキュリティ脅威、データ侵害、風評被害、金銭的損失、バイアス、ハルシネーション、透明性や説明責任の問題などが挙げられます。
こうしたリスクにも関わらず、自律型 AI を組織に安全にリリースすることは可能です。適切に計画し、Salesforce Platform を使用すれば、信頼できる AI エージェントのスイート全体を構築して実装できます。
信頼できる AI エージェント
「信頼できるエージェント型 AI」で、Agentforce の卓越した特長の 1 つがガードレールの重視であることを学習します。ガードレールは、各エージェントの動作の境界を定義し、エージェントが実行できることと実行できないことの概要を示します。エージェントの動作やしくみに関するガイドラインは自然言語で指定できます。
AI エージェントのガードレールのほか、Salesforce Platform に組み込まれた Einstein Trust Layer により、エージェントのアクションが会社のセキュリティ標準やコンプライアンス標準に合致していることが保証されます。このレイヤーに有害性を検出するメカニズムが組み込まれているため、エージェントが不適切あるいは有害なアクティビティに関与できないようになっています。
この単元では、Nora が Coral Cloud の AI 評議会と協力して、自律型 AI のユースケースに付随するリスクを特定し、そのリスクに対処する計画を立てるところを見ていきます。
ガバナンスも重要
AI エージェントに対する Salesforce のガードレールは強力で堅牢ながら、Nora は Coral Cloud のすべてのガードレールがテクノロジー自体に備わっているわけではないことを認識しています。そのため、テクノロジー以外で何が起きるかにも同様に注意を払う必要があります。
Coral Cloud では AI 計画の作成時に、チームが AI ガバナンスの実践を確立しました。これは、AI エージェントの包括的なリスク緩和策を計画するうえで役立ちます。
AI 評議会は Coral Cloud の AI ガバナンスの一環として、新しい AI プロジェクトのすべてに安全性レビューの実施を義務付けています。この規定は、組織を AI のリスクから守るためのビジネスプロセスで、テクノロジー機能ではありません。Nora は安全性レビューをスケジュールして、会社がプロジェクトのガードレールとガバナンスについて真剣に検討できるようにします。
オブジェクションに対処する
組織によっては、リスク緩和策を講じれば開発プロセスが遅れると認識しているため、リスクの問題に取り組むのが難しいことがあります。ただし、前もってリスクに対処しておくことは極めて重要です。リスクを検討しておかなければ、本番に移行する前に AI プロジェクトが取り止めになるかもしれません。
AI の設計やプロトタイプの作成にリスク管理を組み込めば、プロジェクトを加速させ、倫理上、法律上、規制上、セキュリティ上の必須要件を満たすことができます。あるユースケースでリスクの管理法を学べば、その教訓を次のユースケース、さらにその次のユースケースへと速やかに転用することができます。
エージェントがどのようなもので、ビジネスにどのような形で役立つのかを専門用語を使わずに説明すれば、確固たる基盤を構築することができます。こうした基盤を後続のプロジェクトに適用できるため、その後の AI をスムーズかつ効率的に実装することができます。
リスクに関する会話の進め方
では、リスクに関する協議にはどのようにアプローチすればよいのでしょうか? おそらく多くの組織でお馴染みの「人、ビジネス、テクノロジー、データ」フレームワークを使用することをお勧めします。このカテゴリと考慮事項は、Agentforce プロジェクトに付随する潜在的なリスクや懸念事項を特定するうえで役立ちます。
カテゴリ |
考慮事項 |
|---|---|
人材 |
|
ビジネス |
|
テクノロジー |
|
データ |
|
リスクと懸念事項を特定する
Nora はこのフレームワークを使用して、Coral Cloud の予約管理ユースケースに付随するリスクと懸念事項について協議します。Coral Cloud の AI 評議会の関係者が、各カテゴリのリスクと懸念事項を特定します。このリストは包括的なものではありません。どのユースケースにも固有のリスクと懸念事項が付随します。
カテゴリ |
リスク |
|---|---|
人材 |
|
ビジネス |
|
テクノロジー |
|
データ |
|
Nora の事例では、会社のナレッジ記事が限定的であることが、採用計画に影響を及ぼしています。Coral Cloud はまた、上記の多数のリスクに直面する可能性があります。結局のところ、エージェントの応答がリゾートのポリシーに従っていない場合や、エージェントがどの程度役に立っているか従業員が把握できないような場合には、5 つ星のエクスペリエンスを実現するのは容易ではありません。
リスク緩和策を定義する
Coral Cloud の AI 評議会がリスクと懸念事項をカタログにまとめていたため、Nora とそのチームは各リスクの緩和策についてブレインストーミングすることができます。ガードレールを考案しながら、そのガードレールが人、ビジネス、テクノロジー、データのどれに関連するか分類していきます。
以下は、Coral Cloud が特定した 2 つのリスクに対して提案されたガードレールの例です。
リスクカテゴリ |
リスク |
提案されたガードレール |
|---|---|---|
人材 |
お客様の拒否: ユーザーがエージェントを信頼していないため、エージェントと話したがらない。 |
|
ビジネス |
エスカレーションの問題: エージェントからサービス担当への引き継ぎに一貫性がない、非効率的である、お客様を煩わせる。 |
|
Nora はすでに予約管理の実装の範囲を絞り込む計画を立てています。さらに、エージェントにビジネスについて質問するお客様が適切な期待を抱くようにするための対策を講じることもできます。たとえば、エージェントのようこそメッセージに、予約関連の質問に答えることを目的としているという免責事項を追記することが考えられます。さらに、ほかのサービスに関する情報を入手できる最適な場所へのリンクも記載します。
文書化と実験
Nora と AI 評議会が具体的なリスク緩和策を立てたら、ユースケースのリスクとガードレールを文書にまとめます。規制を遵守するうえで Coral Cloud のリスク緩和策を記録しておくことは重要であり、内部監査にも役立ちます。
反復処理を行うことは文書化と同じぐらい重要です。テクノロジー面のガードレールが効果的であることを確認するために、Sandbox 環境にアクセスし、Agentforce でセキュリティ対策の設定を試行します。実際にガードレールを設定し、さまざまなシナリオでどのように機能するかテストします。こうしたアプローチによって不備や問題を早い段階で特定し、必要な調整を行えるようになります。文書化と実際的な試行を組み合わせれば、AI エージェントのリスク緩和策を講じることができます。
初歩的なガバナンス計画が設定されたため、Nora はプロジェクトのもう 1 つの重要な要素に進むことができます。次は、Coral Cloud のエージェントが実行する作業を記述します。