ボットのテスト、稼働開始、改善
学習の目的
この単元を完了すると、次のことができるようになります。
- 稼働開始に向けてボットをテストする。
- エスカレーションされたケースを処理するカスタマーサポートエージェントの準備を整える。
- ボットを本番環境で稼働する。
- ボットを徐々に改善する。
稼働開始に向けてボットをテストする
Harryette はボットビルダーでいろいろなタブを参照しながら、気がつくと誇らしげに微笑んでいます。計画したユースケースからカスタムダイアログまで、ついにチャットボットを実現させました。
Bloomington ボットを世に送り出す準備がほぼ整いました。あともう少しです。稼働を開始するにあたり、すべてがスムーズに実行されることを確認するために、Harryette はボットの機能をテストする必要があります。
Salesforce チャット用のボットを設計した Harryette は、ボットビルダー内の [Preview (プレビュー)] タブを使用してボットの機能をシームレスにテストできます。各メニューオプションを使用してユーザーがたどることができるすべてのパスを調べ、1 回目のユーザーテストを完了します。会話フローの不具合を探し、ボットのエラー処理を再確認するために予期しない応答を入力します。
まもなくボットが本番稼働する Bloomington Caregivers のサイトでボットがどのように表示されるかを確認するために、Harryette は開発者と協力して最新バージョンの Bloomington ボットを内部サイトで稼働させ、承認されたスタッフがアクセスできるようにします。必要に応じて開発者の協力を得ながら、矛盾する点をトラブルシューティングして修正します。
ボットが内部サイトで稼働を開始したため、Harryette は複数部門のメンバーにボットを試してもらい、使用感のフィードバックを収集します。ボット開発のこのフェーズでは、主に一貫性のあるユーザーフローをテストします。フェーズ 2 で自然言語処理を実装するときに、ボットが一般的なユーザー要求を理解できるかどうかをテストし、インテントモデルの精度を検証します。
カスタマーサポートエージェントの準備を整える
ボットのすべての機能を検証し、微調整した後、Harryette はボットからチャットを引き継ぐサポートエージェントの準備を整えます。エージェントが受信できる要求種別の内訳と、各要求のデモを提供します。彼女はカスタマーサポートチームと協力して、各要求の処理方法に関する一般的なガイドラインをまとめます。
ボットを本番環境で稼働する
Harryette とチームが辛抱強く待っていた瞬間がようやくやってきました。Bloomington ボットの正式稼働です!
ボットをリリースするために、Harryette はボットを Sandbox から本番組織に移行します。ここで必要な作業は、ボットをチャネルに接続し、有効化するだけです。Salesforce ヘルプに記載されたリリース手順に従ってチャットをボットに追加します。チャット用ボットの最初のイテレーションを作成したため、[Setup (設定)] の [Embedded Service (組み込みサービス)] タブに移動してチャットウィンドウのコードスニペットを見つけます。次に、この手順に従ってコードスニペットを Bloomington Caregivers の Web サイトに追加した後、サイトの最新バージョンを起動します。
稼働開始後のボットのパフォーマンスを監視するために、Harryette はカスタマーサービスエージェント数人と開発者を含む稼働開始日サポートチームと連携します。本番環境で予期しないエラーが発生していないか [Performance (パフォーマンス)] タブを定期的にチェックし、[Reports (レポート)] タブの [Einstein Bot Reports (Einstein ボットレポート)] フォルダーにアクセスして、顧客に対するボットのパフォーマンスを表す時間単位の評価指標を追跡します。
準備と作成が終了し、すべてが順調に進めば、Harryette とチームはやっと Bloomington ボットが自力で顧客をサポートするのを静観できるようになります。
徐々にボットを改善する
稼働開始後、Harryette とチームがボットを毎日監視する必要はありません。稼働開始後の責任はメンテナンスや改善のタスクに該当し、ボットのパフォーマンスに基づく適応的な反復プロセスに従います。
Bloomington ボットを世に送り出して 1 週間が経過した後、Harryette は収集した最初の顧客データを確認し、レポートを分析します。改善領域を探すために、次の重要な点を確認していきます。
- レポートで目立つダイアログはあるか? これには、想定外のユーザー動作や並外れて高いまたは低いエンゲージメントと関連しているダイアログが含まれます。
- こうしたユーザーパターンはダイアログについて何を語っているか?
- 顧客はどのダイアログでセッションを終了しているか?
- 顧客はどのダイアログからサポート担当者に転送されているか?
- 開発者による対処が必要なエラーはあるか?
各ダイアログでのユーザーの動作に関するインサイトをさらに収集するために、Harryette は [Reports (レポート)] タブの [Einstein Bot Reports (Einstein ボットレポート)] フォルダーを使用します。特定のダイアログで通常と異なる動作を探すことで、ボットの矛盾する部分に焦点を絞って改善できます。ボットの各コンポーネントだけでなく、ボット全体として Bloomington Caregivers のビジネス目標にどのように貢献しているかも評価します。
四半期末に、Harryette はボットのパフォーマンスデータを、計画プロセスの早い段階で特定した KPI と比較することができます。ボットが処理して回避したケースの数、顧客満足度スコア、顧客が最もよく使用したボットのユースケースなど、重要なデータポイントを調べます。
このインサイトを使用して、Harryette はボットが会社の KPI を満たしているかどうかを評価し、ステークホルダーと会って大局的見地から調整が必要かどうかを話し合います。また、Bloomington ボットの将来のイテレーションに適用できる成長機会を探し、改善計画を立て、四半期ごとにこのプロセスを繰り返します。
このモジュールでは、Harryette がたどったボット実装プロセスのすべてのステップを見てきました。次は、皆さんが独自のボットを作成して世に送り出してください。