エージェントを信頼する
学習の目的
この単元を完了すると、次のことができるようになります。
- さまざまな種類のテストの利点を説明する。
- 自動テストによってエージェントの信頼性がどのように向上するかを説明する。
- 手動テストと自動テストの違いを説明する。
始める前に
Agentforce エージェントに詳しくない場合は、先に次のバッジを取得して、このバッジで使用される用語に慣れておくことをお勧めします。
信頼は Salesforce にとって最も重要なバリュー
Salesforce が取り組むすべてのことは、信頼に深く根差しています。そのため、テストは非常に重要です。すべての新しいリリースで、Apex テストが自動的に実行されます。単体テストでは、すべてのユニットが想定どおりに動作することを確認します。フローもテストされ、すべてが想定どおりに機能することが確認されます。簡単に言うと、Salesforce の製品とプロセスが信頼できることを保証するために、テストは最良の方法の 1 つです。
また、Salesforce のシステム管理者にとって、組織ですべてが円滑に実行されるようにするための土台となるのがテストです。新しいプロセスは専用の Sandbox でテストできます。ユーザー受入テスト (UAT) は大人数のユーザーグループに対して実行できます。すべてのテストが完了したら、新しいプロセスを本番環境にリリースし、すべてが問題なく実行されていることを監視できます。
エージェントの信頼性をテストする
では、Agentforce で作成したエージェントはどうでしょうか? どうすれば、Salesforce 組織の他の部分と同じように信頼性と安全性を確認できるのでしょうか?
その答えもテストです。
エージェントのテストについてはこのモジュールの後の方で詳しく学習しますが、まずはエージェント型 AI をテストする際に発生することのある課題をいくつか見ていきましょう。
課題 | コメントの例 |
|---|---|
生成 AI は非決定的であり、同じ入力でも異なる実行で異なる出力が生成される | 「生成 AI は非決定的だからテストに対する正しい答えがない。」 |
手動テストには拡張性がない | 「生成 AI は主観的な性質があるため、拡張性のない手動テストに頼らざるを得ない。」 |
安全と倫理に関する懸念 | 「生成 AI では有害な出力や意図しない出力が生成されることがある。」 |
標準化されていない | 「生成 AI はまだ新しいため、従うべき既存の標準がない。」 |
このような課題に直面しても恐れることはありません。Agentforce テストセンターが役立ちます。
Agentforce テストセンターのご紹介
Agentforce テストセンターは Agentforce を作成するときに発生し得る課題を解決し、信頼できる AI エージェントを安全かつ再現性のある方法でロールアウトできるように設計されています。Agentforce テストセンターでエージェントをテストすることは、AI エージェントの信頼性を確保するために不可欠なステップです。
Agentforce テストセンターにはノーコードのテストツールが備わっており、信頼できるエージェントを簡単にリリースできます。テストを本番環境から分離するため、テストは適切に設定された Sandbox 内で実行されます。その後、エージェントが更新されたり、エージェントにアクションが追加されたりするのに合わせてテストを追加することもできます。つまり、ビジネスが変更されたり成長したりしてもエージェントは機能し続けます。
テスト方法
Agentforce エージェントのトラブルシューティング、検証、メンテナンスに使用されるテスト方法には、手動テストと自動テストの 2 種類があります。
手動テスト
Agentforce Builder では、エージェントの作成中や更新中に手動でテストとトラブルシューティングを行うことができます。その方法は、Builder で [Conversation Preview (会話プレビュー)] を使用してエージェントに質問するだけです。その後、応答を見てどのように作成されたかを確認します。これはエージェントのトラブルシューティングを行い、質問に基づいて正しいプロセスがコールされていることを確認するのに適した方法です。ただし、このテスト方法には時間がかかり、可能性のあるすべてのシナリオを手動でテストするのは困難です。また、必要になるたびにこのようなテストを繰り返すのも困難で時間がかかります。そこで Agentforce テストセンターが効果を発揮します。
自動テスト
Agentforce テストセンターでは、自動一括テストを実行することができるため、テスト時間を減らすことができます。一括処理を行うことで、多数のユーザー入力をテストすることもできます。このような入力 (質問) は発言と呼ばれます。発言はたとえば「ACME 取引先のすべての進行中の商談を教えてください。」といったものです。すべてのテスト実行には 1 つの発言が含まれます。複数の発言を想定される応答と組み合わせることで、テストのバッチを作成できます。テストを何度も実行し、必要に応じて追加していくことで、エージェントが継続的に信頼できるものになります。
Agentforce テストセンターでは、テスト環境で大量のテストを同時に実行することで、パフォーマンステストを行うこともできます。また、Agentforce テストセンターで AI を使用して何百件もの動的インタラクションを生成することもできます。Agentforce テストセンターではテストが自動的に並列で実行され、エージェントがどのトピックやアクションを選択したかを確認できます。テスト結果を見た後に、Agentforce Builder で手動でテストとトラブルシューティングを行って、必要に応じて指示やガードレールを調整することができます。自動テストを行うことで、会話の多くの異なるバリエーションを手動でテストする場合にかかる時間を節約できます。
確信をもってリリースする
テストが完了したら、確信をもってエージェントを本番環境にリリースすることができます。ビジネスを中断したりお客様のデータを破損したりする心配はありません。さらに、現在使用している任意のツール (変更セットや DevOps Center など) を使用して変更を本番環境に移行することで、変更をリリースできます。また、Salesforce CLI で Data Cloud と Agentforce がサポートされるようになりました。
懸念事項と制限事項
エージェントを作成してテストするときには、次の点に注意してください。
受験料
手動でも自動でも、テストを実行すると、顧客がエージェントを使用するのと同じように要求とクレジットが消費されます。これは Sandbox 環境で実行する場合でも同じです。テスト自体にコストはかかりますが、テストしなかった場合のコストのほうがはるかにかさむ可能性があります。テストによって Einstein 要求と、場合によっては Data Cloud クレジットが消費されます。詳細は「生成 AI の利用状況と請求」と「Rate Limits (レートの制限)」を参照してください。
セキュリティ
エージェントのテストによって CRM データが変更される可能性があります。不必要にデータを変更することを避けるため、Sandbox 環境内でのみ Agentforce テストセンターと Agentforce Builder のテストを使用してください。
制限
現在、同時に最大 10 件のテストジョブを 10 時間の時間枠で実行できます。各テストには最大 1000 件のテストケースを含めることができます。
テストとテストケースの使用について、さらに詳しく学ぶ準備はできていますか? 次の単元ではハンズオン演習に取り組みます。
リソース
- Trailhead: ソフトウェアのテストについて検討する
- Salesforce システム管理者: Ensuring AI Accuracy: 5 Steps to Test Agentforce (AI の精度を確保する: Agentforce をテストする 5 つのステップ)
- Trailhead: Salesforce システム管理者のソフトウェア開発ライフサイクルについて知る
- Salesforce ヘルプ: Sandbox での Data Cloud
- Salesforce YouTube: How to Test Agentforce (Agentforce をテストする方法)
- Salesforce ヘルプ: 生成 AI の利用状況と請求
- Einstein Developer: Rate Limits (レートの制限)
- 動画: Test an AI Agent in Agentforce Testing Center (Agentforce テストセンターで AI エージェントをテストする)
