エージェントのメトリクスとスコアを監視する

学習の目的

この単元を完了すると、次のことができるようになります。

• Agentforce スタジオのエージェント分析に移動する。
  
• エージェント分析で使用可能なダッシュボード、タブ、検索条件、ディメンションビューを挙げる。
  
• [Overview (概要)] タブと [Performance Insights (パフォーマンスのインサイト)] タブのメトリクスを解釈する。
  

エージェント分析とは?

エージェント分析は、すべてのエージェントセッションを対象に、意味のあるトレンドやパターンを見出して調査するための視覚化やドリルダウンのツールを備えています。粒度の高いデータから、集計されたインサイト、エージェントのパフォーマンスの経時的なトレンド分析まで、さまざまなレベルの詳細情報を検証できます。

Agentforce スタジオでエージェント分析を起動する

Coral Cloud Resorts のビジネスインテリジェンス部門のディレクターである Alex Wu は、エージェント分析に新たに実装した Excursion Booking (オプショナルツアーの予約) エージェントの様子をすぐにも確認したいと思っています。そこで、データが収集されたらすぐに結果を調査できるように、このアプリケーションの使い方を学ぶことにします。

1. アプリケーションランチャーで、[Agentforce Studio (Agentforce スタジオ)] を検索して選択します。
   
2. [Agents (エージェント)] を選択します。
   
3. [Explorer (エクスプローラー)] の [Observe & Optimize (観察および最適化)] で、[Analytics (分析)] を選択します。
   

[Observe & Optimize (観察および最適化)] セクションに次のオプションがあります。

• Analytics (分析): 選択したエージェントアプリケーションのパフォーマンスダッシュボードを開きます。
  
• Sessions & Intents (セッションとインテント) ([Optimization (最適化)] を展開): 個々のセッションのテーブルが開き、トランスクリプトの監査、インテントの比較、タグ付けを実行できます。
  

エージェント分析のダッシュボードを操作する

エージェント種別を選択すると、エージェント分析のダッシュボードにそのエージェント種別のメトリクスが表示されます。ダッシュボードは Tableau Next を基盤にしています。エージェント種別によってメトリクスが異なることがあります。以下は、サービスエージェントのダッシュボードの一例です。

ダッシュボードのデータを絞り込む

検索条件バーで、ダッシュボードに表示されるデータの範囲を絞り込みます。検索条件を設定すると、検討したい領域のみを視覚化できます。たとえば、すべてのエージェントまたは特定の 1 つのエージェント、表示期間、チャネル、モダリティ (テキスト、音声、その両方など) を基準に絞り込みます。

エージェントのパフォーマンスを検討する

[Overview (概要)] タブには、代表的な KPI、前期比のトレンドカード、結果のグラフが表示されます。まずここで全体像を把握し、集計されたエージェントのパフォーマンスメトリクスに目を通します。

ディメンションタブ

分析データはディメンションごとに分類されています。[Quality (品質)] や [Health (健全性)] などのディメンションタブを選択すると、対応する KPI セットとグラフが表示されます。

有効性メトリクスを検討する

[Effectiveness (有効性)] タブを選択すると、前期比の変化インジケーターを示す KPI カードが表示されます。マルチエージェントのトレンドを示す折れ線グラフと、セッションの結果の積み上げ棒グラフを確認できます。

• Deflection Rate (デフレクション率): サポート担当者または別のエージェントへのエスカレーションなしで終了したセッションの割合
  
• Escalation Rate (エスカレーション率): サポート担当者または別のエージェントにエスカレーションされたセッションの割合
  
• Abandonment Rate (放棄率): タイムアウトしたか、エンゲージメントがないまま終了したセッションの割合 (デフォルトのタイムアウト: 2 時間)
  
• Engagement Rate (エンゲージメント率): エージェントがトリガーしたアクションに関連する返信を、ユーザーが受け取ったセッションの割合。アクションが少なくとも 1 つトリガーされた場合にのみ、セッションにエンゲージメントがあったものとみなされます。
  
• Success Rate (成功率): アクションステップを含み、エラーなしで完了したインタラクションの割合
  
• Task Resolution Rate (タスク解決率): Trust Layer のタスク解決検出機能によって完全に解決されたと評価されたセッションの割合
  

ページをさらにスクロールダウンすると、セッションの結果の集計が積み上げ棒グラフで示されます。

• Deflected (デフレクション済み): ユーザーの要望により終了 (ユーザー自身が解決)
  
• Escalated (エスカレーション済み): カスタマーサービス担当者または別のエージェントに転送
  
• Abandoned (放棄): タイムアウトまたは中断
  
• Ambiguous (あいまい): 明確な分類が不能
  

メトリクスカードとテーブルビューを切り替える

[Metric Card (メトリクスカード)] を選択すると、タイルレイアウト (グラフィックや詳細情報を示す大きなカード) が表示されます。メトリクスを選択すれば、グラフが切り替わります。

[Table View (テーブルビュー)] を選択すると、すべてのメトリクスをまとめて表示するコンパクトなテーブルレイアウトを確認できます。

トレンドグラフの粒度を変更する

日付検索条件を使用すると、グラフの粒度 (日/週/月) を変更できます。

利用状況メトリクスを検討する

[Usage (利用状況)] タブを選択すると、利用状況メトリクスが表示されます。

• Unique Sessions (ユニークセッション数): 指定された期間内に記録された個々のセッション数。セッションとは、ユーザーとエージェント間のやり取り全体のことです。
  
• Unique Interactions (ユニークインタラクション数): 指定された期間内に記録されたユーザーとエージェント間の個々のインタラクション数。1 回のインタラクションとは、ユーザーの 1 回のリクエストとエージェントの 1 回の応答のことです。
  
• Unique Users (ユニークユーザー数): 指定された期間内にエージェントとやり取りした個々のユーザー数
  
• Average Interactions Per Session (セッションあたりの平均インタラクション数): セッションあたりの平均インタラクション数
  

品質スコアを検討する

[Quality Scores (品質スコア)] タブを選択すると、外部の LLM 評価ツールで生成されたディメンションスコアを確認できます。

上記のスコアを表示するためには、[Setup (設定)] で [Audit and Feedback (監査とフィードバック)] と [Knowledge/RAG Quality Data and Metrics (ナレッジ/RAG 品質データおよびメトリクス)] が有効である必要があります。

健全性メトリクスを検討する

[Health (健全性)] タブを選択すると、エージェントの健全性メトリクスを確認できます。

• Error Rate (エラー率): エージェントの処理中または応答中にエラーが生じたインタラクションの割合
  
• Session Duration (seconds) (セッション時間 (秒)): セッションの所要時間 (秒単位)
  
• Agent Interaction Duration (seconds) (エージェントのインタラクション時間 (秒)): ユーザーのリクエストにエージェントが応答するまでの時間
  

信頼性メトリクスを検討する

[Trust (信頼性)] タブを選択すると、Einstein Trust Layer での評価を確認できます。

• Adherence Response Rate (遵守応答率): 指示の遵守が、高遵守のしきい値を満たした応答の割合
  
• Average Agent Toxicity Score (0–1) (エージェントの平均有害性スコア (0 ～ 1)): エージェント出力に対する有害性検出機能の平均スコア (低いほど好ましい)
  

信頼性メトリクスを表示するには、[Audit and Feedback (監査とフィードバック)] と関連する Trust Layer 機能が有効である必要があります。

音声メトリクス

[Voice (音声)] タブを選択すると、音声メトリクスを確認できます。

• Interruption Rate (割り込み率): 割り込みが生じたインタラクションの割合
  

パフォーマンスのインサイト (内訳) を検討する

[Performance Insights (パフォーマンスのインサイト)] タブでは、セグメント間のパフォーマンスを比較できます。どのサブエージェント、インテント、アクションが良い結果または悪い結果をもたらしているのかを確認できます。このタブを使用して、パフォーマンスが不振なセグメントを調査します。

1. [Performance Insights (パフォーマンスのインサイト)] タブを選択します。
   
2. [Breakdowns (内訳)] パネルで、[Subagents (サブエージェント)]、[Intents (インテント)]、[Actions (アクション)] のいずれかのセグメント種別を選択します。
   
3. [Select Subagent (サブエージェントを選択)] (または同等のセレクター) を使用して特定のセグメントに絞り込むか、[All (すべて)] のままにします。
   
4. [Select Metric (メトリクスを選択)] で、比較の基準を選択します。
   
5. 横棒グラフを確認します。各行はセグメント (例:「請求と支払」や「注文状況」などのサブエージェント) を表し、棒の長さはメトリクスの値を示し、色分けはパフォーマンスレベル (緑 = 良好、オレンジ/赤 = 要注意) を表します。
   

この例では、サブエージェントが [Unique Sessions (ユニークセッション数)] で分類され、比較メトリクスに [Average Quality Score (平均品質スコア)] が選択されています。エージェントごとに、[Billing & Payments (請求と支払)]、[Order Status (注文状況)]、[Returns & Refunds (返品と返金)] などのサブエージェントと、それぞれのセッション件数 (青い棒) と品質スコア (緑/オレンジの棒) の両方を示す棒グラフが表示されます。

従業員エージェントダッシュボードでユーザーセンチメントを検討する

Employee Agent (従業員エージェント) ダッシュボードで [User Satisfaction (ユーザー満足度)] を選択すると、ユーザーの肯定的なフィードバック数 (上向きの親指) と否定的なフィードバック数 (下向きの親指) を確認できます。どちらのメトリクスにもマルチエージェントのトレンドラインが示されるため、エージェント全体の経時的なセンチメントを追跡できます。

Alex がエージェント分析でエージェントのパフォーマンスを調査する

Excursion Booking (オプショナルツアーの予約) エージェントを実装してから 2 週間後、Alex Wu はエージェント分析を開き、問い合わせのデフレクションを 50% に高め、エスカレーションを 50% に抑えるという目標に向けた進歩状況をチェックします。まず、本番におけるエージェントのパフォーマンスのベースラインを把握したいと考えます。

1. そこで、Agentforce スタジオにログインします。
   
2. [Observe & Optimize (観察および最適化)] | [Analytics (分析)] の順に移動します。
   
3. [Service Agent (サービスエージェント)] 種別を選択し、検索条件バーの [Timeframe (期間)] を [Last 30 Days (過去 30 日間)] に変更します。
   

[Agent Performance (エージェントのパフォーマンス)] タブで、[Effectiveness (有効性)] ディメンションタブをすぐに確認します。

• Deflection Rate (デフレクション率): 38% (目標の 50% 未満)
  
• Escalation Rate (エスカレーション率): 42% (目標に近づいているが、改善要)
  
• Abandonment Rate (放棄率): 27% (懸念事項 — 4 人に 1 人以上が途中でやめていることになる)
  
• Engagement Rate (エンゲージメント率): 58%
  
• Success Rate (成功率): 71%
  

Alex は、30 日間の 4 つのメトリクスをすべて表示する [Aggregated Effectiveness Metrics (有効性の集計メトリクス)] トレンドグラフを検証します。過去 2 週間で放棄率 (オレンジの線) が着実に上昇している一方で、デフレクション率 (青い線) は横ばいであることに気がつきます。下方の [Session Outcome (セッションの結果)] 積み上げ棒グラフを見ると、週末に放棄セッション (赤いセグメント) が大幅に増加しており、特に 3 月 15 ～ 16 日と 3 月 22 ～ 23 日に急増していることがわかります。

パフォーマンスのインサイトを詳しく調べる

Alex は [Performance Insights (パフォーマンスのインサイト)] タブに切り替えて、エージェントのどの部分が放棄の原因になっているか見極めようとします。[Breakdowns (内訳)] パネルで、次の項目を選択します。

• Segment type (セグメント種別): Subagents (サブエージェント)
  
• Metric (メトリクス): Deflection Rate (デフレクション率)
  

横棒グラフに、各サブエージェントのパフォーマンスが表示されます。

• General FAQ (一般的な FAQ): 緑の棒 (デフレクション率 65%)
  
• Water Activities Booking (水活動の予約): オレンジの棒 (デフレクション率 32%)
  
• Land Tours Booking (フィールドトリップの予約): 緑の棒 (デフレクション率 58%)
  
• Pricing Information (料金情報): 黄色の棒 (ディフレクション率 45%)
  

Alex がメトリクスを [Abandonment Rate (放棄率)] に変更すると、次の結果が示されました。

• Water Activities Booking (水活動の予約): 赤の棒 (放棄率 38%)
  
• General FAQ (一般的な FAQ): 緑の棒 (放棄率 8%)
  
• Land Tours Booking (フィールドトリップの予約): 黄色の棒 (放棄率 15%)
  

Alex が学んだこと

Water Activities Booking (水活動の予約) サブエージェントのパフォーマンスが著しく低下しています。次のことが判明しました。

• デフレクション率がすべてのサブエージェントの中で一番低い
  
• 放棄率は一番高い (38%、平均は 27%)
  

このサブエージェントは、スキューバダイビングとシュノーケリングの予約を処理しています。リゾートで特に人気が高く、収益性の高いオプショナルツアーです。放棄率が高いということは、潜在的な収益を逸しているということです。

ここで Alex はやるべきことのリストを作成します。

• Water Activities Booking (水活動の予約) サブエージェントの指示を調査する。結果の向上につながる可能性がある改善策を挙げる。
  
• このサブエージェントの品質スコアを確認し、応答の関連性を把握する。「エージェントがユーザーのインテントをどのくらい正確に理解しているか?」 「関連性の高い結果をどれだけ返しているか?」を検証する。
  
• 健全性メトリクス (遅延) をチェックして、応答に時間がかかっていることが放棄の一因であるかどうかを確認する。
  
• オプショナルツアーデスクのマネージャーとのミーティングをスケジュールし、ゲストからよくある質問のうち、Excursion Booking (オプショナルツアーの予約) エージェントからは回答が得られない可能性があるものについて協議する。
  

Alex は Water Activities Booking (水活動の予約) サブエージェントにあいまいな指示を見つけて修正します。続いて、Agentforce テストセンターでエージェントの最新版をテストして実装し、その後数週間にわたってパフォーマンスを監視します。Alex の努力が実を結び、ビジネス目標どおり、デフレクション率が上昇して、放棄率が低下しました。

次のステップ

数値が目標を下回った場合はどうすればよいのでしょうか? Alex はデータをさらに調べることができます。[Sessions & Intents (セッションとインテント)] を使用して、水活動についての個々の会話を検証し、ほかに考えられるパターンや原因を調査することができます。では、次の単元に進みましょう!

リソース

• Salesforce ヘルプ: Agent Analytics (エージェント分析)