Salesforce が信頼できるエージェント型 AI を構築する方法を確認する
学習の目的
この単元を完了すると、次のことができるようになります。
- 信頼できるエージェント型 AI とは何かを定義する。
- エージェントに付随する主なリスクを説明する。
- 責任あるエージェント型 AI の基本原則を説明する。
Trailcast
このモジュールの音声録音をお聞きになりたい場合は、下記のプレーヤーを使用してください。この録音を聞き終わったら、必ず各単元に戻り、リソースを確認して関連付けられている評価を完了してください。
始める前に
AI ソリューションのガバナンスと信頼計画に対する理解を深めるために、次のバッジを確認することをお勧めします。
信頼できるエージェント型 AI とは?
信頼は Salesforce の最大のバリューです。この点はエージェント型 AI も同じです。Salesforce のエージェント型 AI は、責任ある AI に関する Salesforce のガイドラインに従って構築されています。このガイドラインは、プラットフォーム上の AI エージェントの急速な成長に伴う新たな課題に対処するための基盤です。
バリューや基本原則も大切ですが、それを具体的な行動で示すことも同様に重要です。Salesforce では、Einstein Trust Layer、Agentforce ガードレール、信頼パターンを実装するという行動で示してきました。さらに、倫理的なレッドチーミングや AI の許容される使用に関するポリシー (AUP) を採用して、AI システムが安全かつ倫理的な範囲内で動作するようにしています。こうした対策によって会社のバリューが強化されるだけでなく、AI テクノロジーに対する信頼を構築して維持する強固な基盤が築かれます。
信頼できる Agentforce の構築に Salesforce がどのように役立つかを説明する前に、主な用語を確認しておきましょう。
Agentforce
Agentforce は Salesforce Platform のエージェントレイヤーのブランドで、お客様や従業員に対応するエージェントの総称です。
エージェント
エージェントは自律的かつ目標指向で、人間の最小限の入力でタスクやビジネス上のやり取りを実行します。1 つのタスクや一連のタスクを開始して完了したり、自然言語の会話に対応したり、ビジネスデータから取得した関連性の高い回答を安全に提示したりすることができます。エージェントは、業務の流れの中で Salesforce ユーザーをサポートする、またはユーザーとコラボレーションする目的で使用できます。ユーザーやお客様の代わりにアクションを実行することも可能です。Salesforce インターフェースやカスタマーチャネルでエージェントを使用できます。
エージェント型 AI
エージェント型 AI は、AI エージェントが自律的に動作して、判断を下し、変化に適応できるようにする AI システムです。学習と適応を進めるツールやサービスを備え、AI エージェントと人間のコラボレーションを促進します。
責任あるエージェント型 AI の基本原則
Salesforce はエージェントの責任ある開発と使用を確約しています。以下はその主な原則です。
正確性
Agentforce の頭脳である推論エンジンは、トピック分類を使用して、ユーザーのリクエストを特定のトピックにマッピングします。トピックには一連の指示、ビジネスポリシー、エージェントが実行可能なアクションがまとめられています。そのため、エージェントが実行すべきタスクに取り組むことができます。
エージェントは、Salesforce 組織の関連性の高いコンテキストをプロンプトに含めるグラウンディングプロセスを使用して、Salesforce 組織のデータに基づく応答を作成し、正確性と関連性を向上させます。このため、エージェントは返信を生成する際に、組織の Salesforce データを最大限に活用できます。
安全性
Salesforce のエージェントには、意図しない結果を防ぎ、安全な応答を保証する安全対策が組み込まれています。
- 私たちは、エージェントの応答範囲を制限し、トピックから逸脱せず、安全かつ倫理的な方法で応答することを保証するシステムポリシーを設けています。「Einstein Trust Layer」ヘルプトピックの「プロンプト防御」セクションを参照してください。
- Einstein Trust Layer は、エージェントの応答から有害なコンテンツを検出して監査証跡に記録します。そのため、応答を監視して適切に対応することができます。
- Salesforce はサードパーティの大規模言語モデル (LLM) プロバイダーとデータ保持ゼロポリシーを締結しているため、データが Salesforce 信頼境界の外部に保持されることがありません。また、データ保持ゼロポリシーと LLM プロバイダーとの契約上の義務により、データがサードパーティ LLM のトレーニングに使用されることもありません。
誠実性
私たちはデータソースを尊重し、使用許諾を得ています。AI がコンテンツを生成することについてオープンになり、AI が作成した場合はその旨を明示します。AI が応答を生成しているときは、標準的な開示情報を示し、ユーザーに対する透明性を確保します。
能力強化
私たちは人と AI のパートナーシップを重視しています。AI は、特に人間の判断を要するタスクで人間をサポートする必要があります。タスクには完全に自動化できるものもあれば、人間の監視が必要なものもあります。私たちは人間がリスクの高い判断を下せるようにする一方で、日常的なタスクは自動化して、人間と AI が効果的な方法で連携できるようにします。
サステナビリティ
Salesforce は、環境へのインパクトを低減する効率的な AI モデルの開発を目指しています。小規模で適切にトレーニングされたモデルが、大規模なモデルよりも優れたパフォーマンスを発揮することが少なくありません。また、効率的なハードウェアと低炭素データセンターを使用しています。エージェントは、特定のタスクに合わせて調整された xLAM や xGen-Sales などの最適化モデルを使用して、環境へのインパクトを最小限に抑えながら高いパフォーマンスを実現します。
私たちはこうした原則に従って、信頼性、安全性、透明性、能力強化、サステナビリティを備えたエージェントを設計しています。Salesforce では、コアバリューを堅持しつつ、AI を使用して人間の能力を高めることに尽力しています。
主なリスクと懸念事項
AI システムの自律性が高まるにつれ、悪用や意図しない結果が生じる可能性も増大します。ユーザーの信頼を維持し、害悪から守るためには、こうしたシステムが倫理的かつ透明性のある方法で運用されることが極めて重要です。以下は、考慮すべき主なリスクです。
意図しない結果
AI エージェントの自律的なアクションが、予期しない、潜在的に有害な結果につながるおそれがあります。たとえば、バイアスがかかったコンテンツや不適切なコンテンツの生成、誤った判断、Salesforce の倫理ガイドラインにそぐわないユーザーとのやり取りなどが挙げられます。AI のプログラミングと学習済みのパターンの相互作用により、予期しないアクションや望ましくない行動が生じて信頼が損なわれ、安全上の懸念が持ち上がる可能性があります。
セキュリティとプライバシー
特にエージェントが機密データを扱う場合は、セキュリティとプライバシーが極めて重要です。設計上適切なセキュリティ対策が講じられていなければ、機密データの漏洩につながり、ユーザーの信頼が損なわれるおそれがあります。
倫理面と法律面の考慮事項
エージェントはポリシーと法的要件を遵守する必要があります。法的な問題を回避し、信頼を維持するためには、エージェントが倫理的な方法で動作し、法律を遵守することが不可欠です。
人間の制御力の低下
エージェントの自律性が高まるにつれ、人間が監視し続けることが困難になっていく可能性があります。その結果、エラーや倫理違反、ユーザーへの害悪やプラットフォームの評判の低下につながるおそれがあります。
自動化バイアス
ユーザーが AI の出力を過信し、常に正確で信頼できると思い込むことがあります。検索拡張生成 (RAG) により、AI の出力が間違っていても極めて確定的で信頼できるように感じられるため、このようなバイアスが強まる可能性があります。こうした過信が間違いを招くことがあります。
ユーザーの悪用の増大
生成 AI とやり取りするユーザーが増えるにつれ、悪用される可能性も高まります。ユーザーが害悪をもたらす目的で AI を悪用したり、適切な使用法を誤解したりする可能性があり、その結果、不適切なコンテンツの生成やプライバシーの侵害などの問題が生じることがあります。
Salesforce では、さまざまな緩和策を講じています。プラットフォームや製品にガードレールを組み込み、レッドチーミングによる敵対的テストを実施し、ユーザーを保護するために AI の許容される使用に関するポリシーを定めています。また、ガードレールに組織のバリューやコンプライアンス要件が反映されるように、製品のガードレールをカスタマイズできるようにしています。この点は後続の 2 つの単元で説明します。
この単元では、自律型エージェントと付随するリスクについて学習しました。また、AI エージェントの開発の基本原則と実務や、Salesforce でのガードレールの設計方法も検討しました。次の単元では、Agentforce のガードレールと信頼パターンを使用して、信頼できるエージェント型 AI を実装する方法を学習します。