데이터를 사용하여 에이전트 개선하기
학습 목표
이 유닛을 완료하면 다음을 수행할 수 있습니다.
- 분석을 사용하여 문제를 식별합니다.
- 테스트를 통해 문제의 범위를 좁히는 방법을 설명합니다.
- 주제를 수정하거나 생성형 AI를 사용하여 새로운 주제를 생성합니다.
지금까지 에이전트를 위한 두 가지 주요 분석 유형인 Agentforce Analytics와 Utterance Analysis(발화 분석)를 살펴보았습니다. 에이전트에 관한 정보, 즉 수행 능력, 사용 여부, 응답이 사용자의 요구를 충족하는지를 아는 것은 매우 훌륭하지만 단, 이를 이용해 정보에 기반한 의사 결정을 내릴 때만 유용합니다. 어떻게 하는지 함께 살펴보겠습니다.
추세 발견하기
Agentforce Analytics와 Utterance Analysis 대시보드를 통해 문제가 있는 추세를 비롯한 추세를 확인할 수 있습니다. 어쩌면 채택률이 떨어지고 있거나 주제로 처리되어야 할 발화가 대신 일반 범주(버킷)로 분류된 것을 발견하게 될 수도 있습니다. 이것은 유용한 정보이지만 이 정보를 어떻게 활용하면 좋을까요? 테스트에 사용할 수 있죠!
에이전트 테스트하기
Setup(설정)에 있는 테스트 센터를 통해 배치 테스트를 실시하여 주제와 발화를 확인할 수 있습니다. 가장 간단한 사용 방법은 생성형 AI를 통해 테스트 사례를 만드는 것이지만 테스트 사례가 담긴 CSV 파일을 업로드할 수도 있습니다. 그러면 테스트 센터는 테스트를 실행하고, 응답이 발화와 일치하지 않을 때 이를 알려줍니다. Agentforce: 에이전트 테스트 모듈에서 이를 단계별로 처리하는 방법을 학습할 수 있습니다.
테스트 결과를 통해 더 많은 데이터를 확보할 수 있죠. 이제 이것으로 무엇을 하면 될까요? Agentforce 빌더에서 테스트하세요. Setup(설정)에서 에이전트를 열고 Open in Builder(빌더에서 열기)를 클릭합니다. 여기에서는 배치 수준이 아닌 대화 수준에서 테스트를 하고 에이전트가 실시간으로 어떻게 작업을 수행하는지 확인할 수 있습니다. 테스트 센터에서 실패한 테스트를 활용해 문제를 정확하고 빠르게 찾아낼 수도 있습니다. 대화 패널에 발화를 입력하고 플래너에서 결과를 확인하여 에이전트가 대화에 적합하다고 생각하는 주제가 무엇인지 살펴보세요. 예상한 결과가 나타나지 않는다면 어떻게 해야 할까요? 원하는 결과가 나올 때까지 주제를 추가 또는 삭제하거나 맞춤형 주제를 편집할 수 있습니다.
솔루션 만들기
문제점을 파악했거나 적어도 업데이트가 필요한 부분을 알게 되었다면, Agentforce 빌더에서 주제를 수정하거나 생성하여 문제를 해결할 수 있습니다. 이 역시 생성형 AI의 도움을 받을 수 있습니다. Agentforce 빌더에서 새 주제를 생성할 때 주제가 수행하길 원하는 것을 입력하고 Next(다음)를 클릭합니다.
생성형 AI는 지침을 포함하여 모든 것을 만들어 줍니다. 여러분은 그저 검토하고, 원하는 대로 변경 또는 추가하고, 작업을 추가하고 저장하기만 하면 됩니다. 주제 수정 과정은 더 간단하죠. 도구에 생성형 AI가 설명, 범위, 지침을 검토하고 개선 사항을 제안하도록 하는 옵션이 제공되기 때문입니다. 이 모든 것은 버튼 하나만 클릭하면 됩니다.
Agentforce 빌더에서 대화를 다시 시작하여 업데이트가 적용되었는지 확인합니다. 결과에 만족할 때까지 이 단계를 반복합니다.
Coral Cloud Resorts 에이전트 개선하기
아주 쉬울 것 같죠? Alex도 그렇게 생각합니다. 하지만 활성 에이전트를 수정할 수 없다는 것을 알고 있기 때문에 에이전트의 중단 시간을 줄이는 계획을 생각해 냅니다. 먼저 문제가 있어 보이는 사용자 발화 클러스터를 식별합니다. 이러한 클러스터가 고객 만족도에 영향을 미치는지 확인하기 위해 테스트해 보기로 합니다.
Alex는 Setup(설정)에서 Testing Center(테스트 센터)로 들어가 선택합니다. 테스트 센터에서 새 테스트를 만들고, 생성형 AI를 사용하여 사례 생성을 지원하도록 합니다. 다음으로 테스트를 실행합니다. 응답이 요청과 일치하지 않는 일부 실패한 발화가 있습니다. 일반적인 요청을 복사하고 Agentforce 빌더로 이동하여 에이전트를 비활성화한 다음 대화 패널에 발화를 입력합니다.
플래너 패널에서 에이전트가 고른 주제가 별로 적합하지 않다는 것을 확인합니다. 에이전트가 일반 주제를 사용했으므로 Alex는 특정 주제가 최선의 선택일 것 같다고 생각합니다. 그는 New Topic(새 주제)을 클릭한 다음 설명을 추가하고, Agentforce 빌더의 생성형 AI가 주제 이름, 설명, 범위, 지침을 생성하여 업무 부담을 줄입니다. 주제가 다루었으면 하는 작업을 추가하고 저장합니다. 대화를 다시 시작하자 이번에는 에이전트가 새 주제를 올바르게 선택합니다. 성공이네요! 에이전트를 다시 활성화하고 업무에 복귀시킵니다.