エージェントのセッションとインテントを調査する

学習の目的

この単元を完了すると、次のことができるようになります。

• [Sessions & Intents (セッションとインテント)] ページを操作する。
  
• 処理済みセッションと未処理セッションを区別する。
  
• インテントパイプラインのプロセスについて説明する。
  
• セッションメタデータを使用して、エージェントとユーザーの個々の会話を絞り込んで分析する。
  
• セッションの詳細を解釈する。
  
• [Session Page (セッションページ)] のトレースを使用して、エージェントの動作を順番にデバッグする。
  

[Sessions & Intents (セッションとインテント)] を起動する

[Sessions & Intents (セッションとインテント)] では、個々のセッションやエージェントとユーザーのインタラクションをインテントレベルでドリルダウンできます。

1. アプリケーションランチャーで、[Agentforce Studio (Agentforce スタジオ)] を見つけて選択します。
   
2. [Agents (エージェント)] を選択します。
   
3. [Explorer (エクスプローラー)] の [Observe & Optimize (観察および最適化)] で、[Sessions & Intents (セッションとインテント)] を選択します。
   

[Sessions & Intents (セッションとインテント)] ページを絞り込む

エージェント分析で学習したとおり、検索条件バーを使用して [Sessions & Intents (セッションとインテント)] ページに表示されるデータの範囲を絞り込みます。

処理済みセッションと未処理セッションを操作する

[Sessions & Intents (セッションとインテント)] ページには、[Processed Sessions (処理済みセッション)] と [Unprocessed Sessions (未処理セッション)] の 2 つのタブがあります。

処理済みセッション

次の連続した 2 つのパイプラインを使用して処理が完了したセッションです。

• Intent Pipeline (インテントパイプライン): 終了したセッションを分析して、インテント (一連のやり取りでユーザーが達成しようとしていたこと) を抽出します。インテントの生成には通常、セッション終了後 4 ～ 5 時間かかります。
  
• Clustering Pipeline (クラスタリングパイプライン): 全セッションの類似したインテントをグループ化してクラスタータグを割り当て、タグの付いたインテントがセッショントレースに表示されるようにします。クラスタリングは毎週 1 回実行されます。新しいトピック領域の新しいインテントタグは、次週のクラスタリングが実行されるまで表示されません。
  

処理済みセッションは分析可能な状態になっています。システムがユーザーインテントを抽出し、クラスタータグを割り当てて、品質スコアを計算済みです。トレース内の任意のインテントをクリックすると、そのインタラクション概要が開き、パフォーマンスメトリクス、トリガーされたサブエージェントとアクション、品質スコア推論が示されます。

メモ: 一部のインテントにはタグが付けられません。クラスタリングパイプラインは、意味的に類似したインテントが少なくとも 10 個見つかった場合にのみ、クラスタータグを作成します。

未処理セッション

現在進行中のセッション、終了したばかりのセッション、処理が完了していないセッションです。セッションの処理が進行中の場合は青いバナーが示されます。[Trace (トレース)] タブを使用すると、処理の完了を待たずにセッションをすぐ調査できます。

[Processed Sessions (処理済みセッション)] にセッションが見つからない場合は、[Unprocessed Sessions (未処理セッション)] を確認してください。まだ処理中の可能性があります。

セッションテーブルを確認する

セッションテーブルには、エージェントとユーザーのセッションに関する情報が示されます。各行が個々のセッションを表します。

• Session ID (セッション ID)/Timestamp (タイムスタンプ): セッションの一意の識別子と開始時刻
  
• Session Duration (セッション時間): セッションの総所要時間
  
• Session Outcome (セッションの結果): セッションの結果
  
• Custom Scorers (カスタムスコアラー) (ベータ): セッションに関連付けられているカスタムスコアラーの表示ラベルとスコア
  
• Intent Summary (インテントサマリー): ユーザーが何を達成しようとしていたかについて LLM が生成したサマリー
  
• Response Summary (応答サマリー): ユーザーのリクエストにエージェントがどのように応答したかのサマリー
  
• Subagents (サブエージェント): セッション中に呼び出されたサブエージェント
  
• Actions (アクション): エージェントが実行した具体的なアクション (例: ナレッジの検索、ユーザーの取得、ユーザーの認証)
  
• Intent Tag (インテントタグ): インテントに割り当てられたクラスタータグ (例: キャンセルリクエスト、注文状況)。タグの付いたインテントのみがここに表示されます。タグのないインテントは空白になります。
  
• Quality Score (品質スコア): 色分けされたスコア (高/中/低) と数値
  

メール経由でリアルタイムに作成されたセッションは、[Sessions & Intents (セッションとインテント)] テーブルに反映されません。

時間メトリクス (チャットのみ)

チャットセッションに限り、ログに以下の情報が示されます。

• トランスクリプトの上部に表示されるセッションの合計時間
  
• エージェントの各返信の応答時間
  
• 処理時間の内訳 — 推論 (インテントの理解、次のステップの計画) にかかった時間と、アクションの実行 (設定されたアクションの実行) にかかった時間の比較
  

個々の会話を検討する

調査する会話の [Session ID (セッション ID)] をクリックします。

セッションページの上部に、セッション開始時のタイムスタンプ、一意のセッション ID、トランスクリプトのダウンロードボタンが表示されます。

チャットセッションログを検討する (左パネル)

左パネルには、ユーザーとエージェント間の完全な会話ログと以下の情報が表示されます。

• 各メッセージのタイムスタンプ
  
• 色分けされたメッセージバブル — 右側にユーザーのメッセージ、左側にエージェントのメッセージが表示されます。
  
• 処理後のエージェントの応答に表示される品質バッジ (例: 色分けされた「品質: 高」または「品質: 低」)
  
• 各応答のエージェントの完了時間 (例: エージェント (完了: 1 秒))
  

音声セッションの場合は、左パネルに音声セッションのトランスクリプトと、再生コントロールを備えた統合オーディオプレーヤーが並んで表示されます。再生ボタンをクリックすると、トランスクリプトを目で追いながら、録音された会話を聞くことができます。

インタラクション概要タブとトレースタブを確認する (右パネル)

右パネルには、[Interaction Summary (インタラクション概要)] と [Trace (トレース)] の 2 つのタブがあります。

[Interaction Summary (インタラクション概要)] には、選択したインテント (モメント) で何が起こったかについての構造化された内訳が示されます。

• Agent Name (エージェント名): このインタラクションを処理したエージェント
  
• Average Agent Latency (平均エージェント遅延): このインテントの平均応答時間 (ミリ秒)
  
• Total Interactions (合計インタラクション数): このインテントのターン数
  
• Intent Duration (インテント所要時間): このインテントが続いた時間 (例:「1 分 12 秒」)
  
• Topics Triggered (トリガーされたトピック): 呼び出されたサブエージェント (色分けされたアイコン、例:「注文管理」)
  
• Intent Tag (インテントタグ): このインテントのクラスタータグ (例:「キャンセルリクエスト」)
  
• Actions Triggered (トリガーされたアクション): 実行された具体的なアクション (例:「ナレッジの取得」)
  
• Quality Score (品質スコア): スコアバッジ — 色分けされた高/中/低
  
• Quality Score Reasoning (品質スコア推論): スコアが付けられた理由についての LLM の説明。例:「エージェントがユーザーにキャンセルポリシーについて詳しく説明しませんでした。」 この項目は、具体的に何を修正すべきかを把握するうえで特に役立ちます。
  

[Trace (トレース)] タブには、エージェントが実行したすべての処理のステップと各ステップの所要時間が時系列で表示されます。トレースは次の目的で使用します。

• ユーザー入力から最終応答までの一連のステップをそのままたどる。
  
• どこに時間がかかったのかを確認する (インテントの認識、サブエージェントのルーティング、検索、変数の更新、アクションの実行)。
  
• 動作が、Agentforce Builder で設定した内容から逸脱している箇所を特定する。
  
• ネストされたトレースステップを展開して、サブエージェントへの委任を詳しく調べる。
  

トレースには次のステップが表示されます。

• トピック (サブエージェント) の特定
  
• アクション (アクション種別とアイコンを表示)
  
• エージェントのルーティングステップ
  
• 変数の更新
  
• 取得ステップ
  
• 応答の生成
  

各ステップに、状況インジケーター (緑のチェックマーク = 成功) と処理時間が示されます。

Alex が [Sessions & Intents (セッションとインテント)] でエージェントのパフォーマンスを詳しく調べる

Coral Cloud Resorts で、Alex はゲストサービス部門から、訪問者がキャンセルポリシーに関するエージェントの回答に困惑しているというフィードバックを受け取りました。

エージェント分析で判明した内容

エージェント分析で、Cancellation & Rescheduling (キャンセルとスケジュール変更) サブエージェントは、品質スコアが 2.8/5 で、423 セッション中のエスカレーション率が 67% と、サブエージェントの中でもエスカレーション率が最も高くなっていました。

Alex は [Overview (概要)] | [Quality (品質)] ディメンションに移動します。

• Overall Average Quality Score (全体の平均品質スコア): 3.4/5
  
• Cancellation & Rescheduling (キャンセルとスケジュール変更): 2.8/5 (最低)
  

[Performance Insights (パフォーマンスのインサイト)] | [Subagents (サブエージェント)] (Escalation Rate (エスカレーション率) メトリクス):

• Cancellation & Rescheduling (キャンセルとスケジュール変更): 67%
  
• その他のサブエージェント: 28 ～ 42% の範囲
  

Cancellation & Rescheduling (キャンセルとスケジュール変更) の品質サブスコア:

• Answer Faithfulness (回答忠実度): 0.54
  
• Answer Relevance (回答関連性): 0.68
  
• Context Relevance (コンテキスト関連性): 0.71
  

[Answer Faithfulness (回答忠実度)] が低いことから (0.54)、エージェントが知識ベースの実際のコンテンツとは一致しない情報を伝えていることが示唆されます。

[Sessions & Intents (セッションとインテント)] を詳しく分析する

Alex は [Sessions & Intents (セッションとインテント)] に移動し、次の検索条件で絞り込みます。

• Subagent (サブエージェント): Cancellation & Rescheduling (キャンセルとスケジュール変更)
  
• Session Outcome (セッションの結果): Escalated (エスカレーション済み)
  
• Quality Score (品質スコア): Low (1.0–3.0) (低 (1.0 ～ 3.0))
  

エスカレーションされた上位 10 件のセッションを開きます。

セッション #1 — 品質スコア: 2.2

チャットセッションログ:

• ユーザー:「ハリケーン警報が出たら、オプショナルツアーをキャンセルできますか?」
  
• エージェント:「キャンセルポリシーでは、予定されているオプショナルツアーの 48 時間前まで無料でキャンセルいただけます。それ以降は、50% のキャンセル料がかかります。」
  
• ユーザー:「でも、悪天候という緊急事態ですよ?」
  
• エージェント:「24 時間前までであれば、25 ドルの手数料でオプショナルツアーのスケジュールを変更できます。」
  
• ユーザー:「ハリケーンについての質問の答えになっていません。」
  
• エージェント:「お客様の個別の状況に対応できるゲストサービスチームにおつなぎいたします。」
  

[Interaction Summary (インタラクション概要)] タブ:

• Answer Faithfulness (回答忠実度): 0.42
  
• 品質スコア推論:「エージェントはポリシーの一般的な情報を伝え、悪天候による緊急事態の例外に対応していませんでした。また、48 時間前と 24 時間前という期間に関する回答に矛盾がみられます。」
  

[Trace (トレース)] タブの表示内容:

• アクション: ナレッジを取得 → 取得した記事: オプショナルツアーのキャンセルポリシー
  
• エージェントが 48 時間ポリシーに関する応答を生成
  
• アクション: ナレッジを取得 → 取得した記事: スケジュール変更のガイドライン
  
• エージェントが 24 時間以内のスケジュール変更に関する応答を生成
  
• エージェントがサポート担当者にエスカレーション
  

セッション #2 — 品質スコア: 1.9

チャットの表示内容:

1. ユーザーが病気を理由とするキャンセルについて問い合わせる。
   
2. エージェントが標準の 48 時間のキャンセルポリシーを案内する。
   
3. ユーザーが医療上の理由による例外の有無を尋ねる。
   
4. エージェントが同じポリシーを繰り返す。
   
5. ユーザーがサポート担当者に変わるよう求める。
   

[Trace (トレース)] タブには、エージェントが基本的な「オプショナルツアーのキャンセルポリシー」記事のみを取得し、医療上の例外に関する情報を検索しなかったことが示されています。

セッション #3 — 品質スコア: 2.5

• 旅行保険を購入したユーザーが、キャンセルした場合に保険が適用されるか知りたがっている。
  
• エージェントが標準のキャンセル料について説明する。
  
• 保険の適用に触れていないことにユーザーがいら立ちを覚える。
  
• エスカレーションされる。
  

知識ベースを調査する

Alex はトレースで、参照されていた実際のナレッジ記事をクリックして内容を確認します。2 つの別々の記事があることに気づきますが、どちらも次の点について十分な説明がなされていません。

• ハリケーン警報が発令されているが、リゾートが正式にキャンセルを発表していない場合の対応
  
• 医療上の緊急事態によるキャンセル
  
• キャンセルした場合の旅行保険の適用 (スケジュールを変更した場合しか記載されていない)
  

この知識ベースの情報は断片的で不完全です。

• 複数の記事が重複しているため、混乱が生じている (キャンセルポリシーとスケジュール変更ポリシーが別々に記載されている)。
  
• 例外のシナリオに不備がある (ゲストの疾病、家族の緊急事態、キャンセル時の旅行保険の適用など)。
  
• 天候に関するポリシーが曖昧である (リゾート側がキャンセルした場合のみ記載され、悪天候を懸念したゲスト側のキャンセルには触れていない)。
  

エージェントの回答忠実度スコアが低い (0.54) 理由は、複数の不完全な記事を合成して応答を生成したため、回答に一貫性がないことです。

修正を実施する

Alex は法務チームとゲストサービスチームと協力して、知識ベースの問題に対処する「Complete Excursion Cancellation & Rescheduling Policy (オプショナルツアーのキャンセルおよびスケジュール変更に関するポリシーの完全版)」という包括的な記事を 1 つ作成します。古い断片的な記事はアーカイブし、エージェントが新しい包括的な記事のみを取得するようにして、矛盾した情報が取得されるのを防ぎます。

また、Cancellation & Rescheduling (キャンセルとスケジュール変更) サブエージェントの指示を更新して、旅行保険の有無とキャンセルの理由をユーザーに質問したうえで、ポリシーの完全版のドキュメントに基づいて回答が作成されるようにします。Agentforce テストセンターでエージェントの最新版をテストして、本番に実装します。Alex は 3 週間後にメトリクスをチェックします。

エージェント分析 – Cancellation & Rescheduling (キャンセルとスケジュール変更)

• Quality Score (品質スコア): 4.3/5 (2.8 から上昇)
  
• Answer Faithfulness (回答忠実度): 0.91 (0.54 から上昇)
  
• Escalation Rate (エスカレーション率): 28% (67% から低下)
  
• 過去 30 日間のセッション数: 423 件 → 447 件 (エージェントに対するユーザーの信頼が高まり、件数が増加)
  

[Sessions & Intents (セッションとインテント)] の検証

Alex はキャンセルに関する直近 15 件のセッションを抽出し、次の点を確認します。

• [Trace (トレース)] タブに、1 つの包括的な記事が一貫して取得されていることが示されている。
  
• 天候に関する質問に対し、具体的なポリシーの詳細を示したうえで正確に回答されている。
  
• 医療や保険に関する質問が適切に処理されている。
  
• 品質スコア推論に関するメモ: エージェントは、ユーザーの具体的なキャンセルシナリオに応じて正確かつ完全な情報を伝えている。
  

知識ベースが 1 つにまとめられたため、矛盾が解消し、不足していた情報が補完され、デフレクション率と品質の両方が大幅に向上しました。

まとめ

エージェント分析のダッシュボードや [Sessions & Intents (セッションとインテント)] タブなど、Agentforce の監視ツールを使用して、有効性、品質、健全性といった多角的な視点からエージェントの実際のパフォーマンスを観察して測定し、把握する方法を学習しました。また、データの絞り込み、メトリクスの解釈、個々のセッションの調査、さらにはエージェントの動作を順番にトレースしてパフォーマンスが低い領域を特定する方法も確認しました。こうした監視スキルを活用すれば、トレンドを見極めて、問題の根本原因を突き止め、ビジネス目標に沿ったより良い結果をもたらすようにエージェントを継続的に改善することができます。

リソース

• Salesforce ヘルプ: Analyze Data with Agent Optimization (エージェント最適化を使用したデータの分析)