エージェントモニタリングを使ってみる
学習の目的
この単元を完了すると、次のことができるようになります。
- エージェント活動の観察結果や測定値を使用して、エージェントの結果を改善する方法について説明する。
- エージェント活動の定量化に使用できる各種のエージェントメトリクスについて説明する。
始める前に
このモジュールを始める前に、次の推奨コンテンツを完了することを検討してください。
エージェントモニタリングを使用して結果を測定して改善する
Agentforce モニタリングは、AI エージェントのインタラクションの詳細を可視化できるツールスイートです。
-
エージェント分析: 本番でのエージェントの動作に関するインサイトを示す、エージェントセッションの広範なビューです。エージェント分析では、インタラクションの遅延、利用状況のパターンのほか、全体的な品質スコアや成功率といったパフォーマンスメトリクスを表示して、エージェントのパフォーマンスを明らかにします。「エージェントが期待どおり動作しているか?」「どこをどのように改善できるか?」といった疑問の答えを見つけるうえで、この分析機能が役立ちます。
-
セッションとインテント: 詳細な検査を行うためのインテントレベルの詳細情報です。LLM は、セッション全体の類似したユーザーの目標をインテントに分類します。セッション全体のサマリーだけでなく、エージェントが不正確であったり、誤解を招いたり、トピックから外れたりした事例や、設定されたアクションが想定どおり実行されなかった事例を見つけることができます。
エージェントが動作中に何を行っているか、どの程度適切に行っているかに関する包括的な情報が収集されます。こうしたツールとデータを活用して、次のことを行います。
- エージェントのトレンドやパターンを特定する。
- セッションを絞り込んで詳しく調べる (期待を下回る結果につながったセッションなど)。
- エージェントの動作を監査してデバッグする。
- 期待を下回る結果の原因を明らかにして分類する。
- 根本的な原因に対処するアクション項目を見極める。
改善策を実施してテストしたら、エージェントの改良版を実装して監視します。結果が向上すれば、ユーザーの満足度も高まります。
エージェント開発ライフサイクル (ADLC) の監視
ADLC は、エージェントを継続的に改善していく反復的なサイクルで、構想、構築、テスト、実装、監視の各フェーズを進行します。
AI ソリューションを成功させるためには、最初の「構想」フェーズで、成功を測定可能な結果ベースの目標 (KPI ともいう) を確立します。たとえば、サービスエージェントの場合、ケースデフレクションの最大化 (80% 超)、人間へのエスカレーションの最小化 (25% 未満)、放棄 (ユーザーがエージェントの利用を途中でやめること) の最小化 (5% 未満) などをビジネス目標にすることが考えられます。各自のビジネス目標は、AI ソリューションの設計および構築方法、実装前のテストの内容と手順、稼働開始後の監視方法など、ADLC のあらゆるフェーズの指針になります。
ADLC フレームワークに沿ってエージェントを設計して実装する手順の包括的な説明は、「Agentforce Implementation Guide for Customer-Facing Agents (顧客対応エージェントの Agentforce 実装ガイド)」を参照してください。
エージェントのオブザーバビリティを活用した継続的な改善
オブザーバビリティとは、稼働中のエージェントの動作を測定して把握することです。特に「テスト」フェーズと「監視」フェーズでオブザーバビリティが実践されます。どちらのフェーズでも、次のことを行います。
- 稼働中のエージェントを観察する。
- 目標を基に定義した結果を測定する。
- 結果を目標と比較する。
- 必要に応じてエージェントの改善策を実施する。
この 2 つのフェーズは重要な点で異なります。
- テストの場合は、ラボでエージェントを観察できます。適切に設計されたテストケースとテストデータに対してエージェントを試行します。規模を拡張したプレビューや一括テストを実施すれば、本番にリリースする前に問題を検出して診断し、修正することができます。詳細は、「Agentforce のテストツールと計画」を参照してください。
- 監視の場合は、エージェントを実際の状況で稼働させるため、予期せぬさまざまな場面に対処させることができます。時間をかけてエージェントを観察し、トレンドや意味あるパターンを見出します。実践的なエージェントを監視して得られたインサイトから、望ましい結果をもたらすためにエージェントのどの部分のレジリエンス、信頼性、有効性を高めればよいのかが明らかになります。
「監視」フェーズの測定カテゴリ
「監視」フェーズでは、エージェント活動のさまざまなディメンションが観察、測定、算出されます。
-
有効性: ケースデフレクション率 (%) など
-
利用状況: ユニークセッション数など
-
品質: ナレッジ取得スコアなど
-
健全性: エラー率など
-
信頼性: 指示の遵守率など
-
ユーザー満足度: 高評価/低評価など (従業員エージェントのみ)
-
音声: 割り込み率など
エージェントデータの収集方法と保存方法
組織で、Agentforce セッション追跡、監査とフィードバック、ナレッジ/RAG 品質データおよびメトリクスを有効にすると、データの収集が開始されます。また、エージェント種別ごとに分析アプリケーションをインストールする必要があります。前提条件と手順については、「Set Up Agent Analytics (エージェント分析の設定)」を参照してください。
すべてのエージェントセッションの各ターンとイベントが活動ログに記録されます。測定値やスコアリングデータは、一元的な Data 360 データモデルで収集、計算、集計されます。分析データは次の複数のソースから取り込まれます。
-
セッションのトレーシング: 会話中に行われたこと (入力、決定、実行されたアクション、出力) を順番に記録します。この詳細から、エージェントがなぜ特定の動作を行ったのかが明らかになります。
-
監査とフィードバックデータ: ナレッジ取得スコアなど
-
Trust Layer スコア: 有害性、指示の遵守など
オプショナルツアーの予約業務のカスタマーサービスを改善する
多くのブティックリゾートと同様に、Coral Cloud Resorts でも、滞在中に楽しい活動を体験したいゲストのために多彩なオプショナルツアーを開催しています。特に人気が高いのはシュノーケリングやスキューバダイビングなどの水活動ですが、サイクリングやカルチャーツアーといったフィールドトリップも好評です。Coral Cloud Resorts のオプショナルツアーは人気が高く、収益性も高いため、担当スタッフは業務に追われ、需要に対応しきれなくなっています。
Coral Cloud Resorts でビジネスインテリジェンス部門のディレクターを務める Alex Wu は、会社にエージェントを導入する決定を推進してきました。Alex は、オプショナルツアーに関するカスタマーサービスを改善して拡張する目的で、エージェント開発ライフサイクル (ADLC) フレームワークに沿って、新しい Excursion Booking (オプショナルツアーの予約) エージェントの計画、設計、構築、テスト、実装に取り組みました。このエージェントは、情報の問い合わせに対応し、予約を管理します。
計画フェーズで、Alex は新しいエージェントを評価するための最重要目標を定めました。
- 情報や予約に関する問い合わせの 50% を自己解決 (デフレクション) させる。
- エスカレーション率を 100% (エージェントなし) から 50% に低減する。
Alex は会話型インターフェースを備えた使いやすいシステムを整備して、ゲストに質の高いサービスを実施し、リゾートの予約数を増やすことを目指しています。エージェントが本番で稼働し始めたところで、Alex はユーザーに対してどのようなパフォーマンスを発揮するのか楽しみにしています。このモジュールでは、Alex が分析ツールを使用してエージェントを監視し、その情報をほかのツールと組み合わせてエージェントのパフォーマンスを改善していくところを見ていきます。
次のステップ
次の単元では、エージェント分析のダッシュボードを確認して、セッションの絞り込み、品質スコアの詳細の確認、トレンドの把握、エージェントに改善が必要な部分の特定などの実施方法を学習します。