테스트 기준 설정하기

학습 목표

이 유닛을 완료하면 다음을 수행할 수 있습니다.

• 테스트 템플릿을 얻는 방법을 설명합니다.
  
• 테스트 기준의 여러 부분을 설명합니다.
  

참고

한국어로 학습하시겠어요? Trailhead playground에서 한국어로 실습 과제를 시작하고, 괄호 안에 제공된 번역을 사용해 탐색해 보세요. 영어 데이터를 기반으로 실습 과제 검증이 이루어지므로 영문으로 표시된 값만 복사해 붙여 넣습니다. 한국어 조직에서 실습 과제를 통과하지 못한 경우, (1) 로캘을 미국을 바꾸고 (2) 여기에 제시된 지침에 따라 언어를 영어로 바꾼 후 (3) "Check Challenge(과제 확인)" 버튼을 눌러 다시 진행해 보세요.

원하는 언어로 Trailhead 사용하기 뱃지를 확인해 현지화된 Trailhead 경험을 활용하는 방법에 대해 자세히 알아보세요.

테스트 대상

테스트는 에이전트의 위험 수준이 허용 가능한 범위에 있는지 확인하는 과정입니다. 여러분은 Agentforce 빌더에서 에이전트를 수동으로 테스트하고 문제 해결을 완료한 후, 테스트 결과를 바탕으로 지침, 서브에이전트, 작업, 필터, 가드레일을 업데이트했습니다. 이제 Agentforce 테스트 센터를 사용하여 이러한 테스트를 저장하고 반복 실행할 수 있습니다.

고객은 모든 질문에 대한 답변을 원하기 때문에 에이전트의 성능을 테스트합니다. 해커, 심지어 직원들도 이따금씩 제한 사항을 우회하여 모델이 의도하지 않은 방식으로 작업을 수행하거나 모델의 출력을 조작하려고 시도할 수 있습니다. 이러한 시나리오가 Agentforce 테스트 센터의 테스트에 추가됩니다.

핵심은 사용자가 어떤 유형의 질문을 할지 예측하는 것입니다. 모든 가능성과 모든 상황을 고려하고 테스트 범위에 포함하여 설계해야 합니다.

테스트를 시작하면서 오류나 최소한 문제점을 발견할 수 있습니다. 먼저 예상되는 긍정적인 결과를 테스트하세요. 그런 다음 부정적이거나 예상치 못한 결과와 잘못된 결과까지 테스트하세요. 에이전트가 가장 잘못된 요청에도 올바르게 응답하는지 확인해야 합니다. 이를 긍정적 테스트와 부정적 테스트라고 하며, 이 과정을 통해 더욱 견고한 테스트 도구 모음을 구축할 수 있습니다.

예를 들어 에이전트 이메일 입력 테스트 시 올바른 이메일 응답이 오는지 확인하세요. 이는 긍정적이고 유효하며 예상되는 동작을 테스트하는 것입니다. 하지만 여기에서 끝나는 것이 아니죠. 에이전트에 대한 잘못된 이메일 입력도 테스트하고, 해당 시나리오에 대한 올바른 응답이 반환되는지도 확인하세요. 이는 부정적이고 예상치 못한 잘못된 동작을 테스트하는 과정입니다.

이러한 작업이 다소 어렵게 느껴질 수 있지만, 꼼꼼하게 진행하면 결국 좋은 결과를 얻을 수 있습니다. 시작할 준비가 되셨나요?

Agentforce 테스트 센터가 포함된 Developer Edition 조직에 가입하기

이 모듈을 완료하려면 Agentforce 테스트 센터와 샘플 데이터가 포함된 전용 Developer Edition 조직이 필요합니다. 지금 무료 Developer Edition을 다운로드하여 Trailhead에 연결하면 이 모듈의 도전 과제를 완료할 수 있습니다. 참고: 이 Developer Edition은 이 뱃지의 과제와 함께 작동하도록 설계되었으며 다른 뱃지에서는 작동하지 않을 수 있습니다. 항상 Trailhead Playground 또는 권장되는 전용 Developer Edition 조직을 사용하고 있는지 확인하세요.

단계별 지침을 모두 완료하면 페이지 하단의 Check Challenge to Earn 500 Points(과제를 확인하고 500포인트 획득)을 클릭하세요.

1. Agentforce 테스트 센터가 포함된 Developer Edition 조직에 무료로 가입합니다.
   
2. 양식을 입력합니다.
   
   • Email(이메일)에는 유효한 이메일 주소를 입력합니다.
     
   • Username(사용자 이름)에는 이메일 주소 형식의 고유한 사용자 이름을 입력합니다. 이 경우 유효한 이메일 계정이 아니어도 됩니다(예: yourname@example.com).
     
3. 양식을 작성한 후 Sign me up(가입)을 클릭합니다. 확인 메시지가 나타납니다.
   
4. 활성화 이메일을 수신하면(몇 분 걸릴 수 있음) 이메일을 열고 Verify Account(계정 확인)를 클릭합니다.
   
5. 비밀번호와 응답 질문을 설정하여 등록을 완료합니다. 팁: 나중에 쉽게 사용할 수 있도록 비밀번호 관리자와 같은 안전한 곳에 사용자 이름, 비밀번호, 로그인 URL을 저장해 두세요.
   
6. Developer Edition에 로그인했습니다.
   

이제 새 Developer Edition 조직을 Trailhead에 연결합니다.

1. Trailhead 계정에 로그인했는지 확인합니다.
   
2. 이 페이지 하단의 Challenge(과제) 섹션에서 조직 이름을 클릭하고 Connect Org(조직 연결)를 클릭합니다.
   
3. 로그인 화면에서 방금 설정한 Developer Edition의 사용자 이름과 비밀번호를 입력합니다.
   
4. Allow Access?(액세스를 허용하시겠어요?) 화면에서 Allow(허용)를 클릭합니다.
   
5. Want to connect this org for hands-on challenges?(실습 과제를 위해 이 조직을 연결하시겠어요?) 화면에서 Yes! Save it(예! 저장합니다)을 클릭합니다. 그러면 과제 페이지로 리디렉션되며 새 Developer Edition을 사용하여 이 뱃지를 획득할 수 있습니다.
   

Agentforce 활성화하기

1. 설정 아이콘을 클릭한 다음, Setup(설정)을 클릭합니다.
   
2. Quick Find(빠른 찾기) 상자에서 Einstein Setup(Einstein 설정)을 검색하고 선택합니다.
   
3. Einstein이 On(설정) 상태인지 확인합니다. 이미 On(설정) 상태인 경우 Off(해제)로 변경한 후 다시 On(설정)으로 변경합니다.
   
   
   

4. 브라우저를 새로 고칩니다.
   
5. Quick Find(빠른 찾기)에서 Salesforce Go를 검색하여 선택합니다.
   
6. Search features...(기능 검색...) 텍스트 상자에 Agentforce (Default)(Agentforce(기본값))를 입력하여 선택합니다.
   
   
   

7. Get Started(시작하기)를 클릭합니다.
   
8. Turn On(활성화)을 클릭합니다.
   
9. Confirm(확인)을 클릭합니다.
   

이제 Agentforce가 활성화되었고 Agentforce 테스트 센터를 사용할 수 있습니다. 다만 에이전트 테스트를 시작하기 전에 권한에 대해 알아보겠습니다.

권한 확보하기

이 뱃지를 사용 중인 Developer Edition에는 이미 올바른 권한이 설정되어 있지만, 설정되어 있지 않은 경우에는 어떻게 해야 할까요?

신뢰를 구축하는 데 있어 중요한 부분은 적합한 액세스 권한만 부여하는 것입니다. Agentforce를 사용하려면 특정 권한이 필요하며, Agentforce 도구뿐만 아니라 에이전트가 사용할 수 있는 자동화 기능에도 필요합니다. 데이터, 앱, Apex 역시 액세스 권한이 필요합니다. 먼저 Agentforce에 대한 액세스 권한을 얻는 방법부터 살펴보겠습니다.

유형별 권한을 사용하여 Agentforce(기본값) 에이전트에 대한 액세스를 제어하세요. Agentforce(기본값)를 사용하려면 사용자는 Agentforce 기본값 에이전트 권한 집합 그룹에 속해 있거나 애플리케이션 사용자 정의 권한이 있는 관리자여야 합니다. 이전에 메타데이터 수정 권한만으로 Agentforce(기본값)에 액세스했던 사용자는 더 이상 액세스할 수 없습니다.

Agentforce 테스트 센터를 사용하려면 다음 권한이 필요합니다.

• AI 에이전트 관리 및 에이전트 유형에 필요한 권한 및 시스템 관리자 프로필
  

또는

• 애플리케이션 사용자 정의 및 시스템 관리자 프로필
  

테스트 사례 생성하기

테스트 사례를 생성하려면 Agentforce 테스트 센터에 업로드할 수 있도록 저장 공간이 필요합니다. Agentforce 테스트 센터에는 시작하는 데 도움이 되는 템플릿을 제공하므로 템플릿으로 시작해 보세요. 테스트 템플릿을 얻을 수 있는 방법은 다음과 같습니다

1. Setup(설정)의 Quick Find(빠른 찾기) 상자에서 Testing Center(테스트 센터)를 검색한 다음 선택합니다.
   
2. New Test(새 테스트)를 클릭합니다.
   
3. Test Name(테스트 이름)에 template(템플릿)을 입력합니다.
   
4. 테스트할 에이전트에 대해 Einstein Copilot - v1 또는 Agentforce (Default) - v1을 선택합니다.
   
5. Next(다음)를 클릭합니다.
   
6. Next(다음)를 클릭합니다.
   
7. Template(템플릿) 링크를 클릭합니다.
   
   
   
   이렇게 하면 testing_template.csv 파일이 기기에 다운로드됩니다.
   

8. 저장하지 않고 New Test(새 테스트) 창을 닫습니다. 단지 테스트 템플릿의 위치를 확인하려고 했을 뿐입니다.
   
9. 텍스트 편집기에서 파일을 열어 쉼표로 구분된 값을 확인합니다.
   

CSV 파일은 표 형식 데이터를 저장하는 가장 일반적인 방법 중 하나입니다. 각 값은 쉼표로 구분되며, 각 행은 데이터 레코드 또는 테스트 사례입니다. 최상단 행은 Agentforce 테스트 센터에서 각 열의 용도를 지정하는 헤더입니다. 각 질문 또는 발화와 예상 결과는 별도의 행에 있습니다.

그럼 testing_template.csv 파일의 첫 번째 예시를 자세히 살펴보겠습니다.

발화는 'Acme 계정 요약'이며 예상 서브에이전트는 OOTBSingleRecordSummary입니다. 여기서 서브에이전트 API 이름이며 서브에이전트의 레이블이 아닙니다. 발화는 에이전트가 받을 수 있는 질문 또는 요청입니다. 하나의 에이전트에는 여러 서브에이전트가 있을 수 있으므로 예상 서브에이전트는 해당 발화가 트리거하여 실행되어야 하는 서브에이전트입니다.

그런 다음 해당 서브에이전트의 예상 작업이 한 가지 이상인지 확인합니다. 응답을 생성하는 데에는 하나 이상의 작업이 사용될 수 있습니다. 이 경우 예상 작업은 대괄호 []로 표시된 목록에 설정되며, 각 작업은 작은따옴표 ‘’와 쉼표로 구분됩니다. 이 테스트 사례의 작업은 'IdentifyRecordByName'과 'SummarizeRecord'입니다. 목록에 있는 작업은 API 이름이며 작업의 레이블이 아님을 다시 한번 확인하세요.

마지막 열은 작업에 대한 예상 응답이며, 응답에 포함되어야 할 내용을 설명하는 항목입니다.

이제 테스트 템플릿 파일의 다른 예제를 살펴보겠습니다. 마지막 행은 첫 번째 행과 유사하지만, 특정 데이터 범위 내에서 Acme 계정의 모든 진행 중인 사례와 활동을 찾기 때문에 더 많은 데이터를 포함합니다.

테스트 기준을 만들 때는 긍정적 및 부정적 결과에 대한 발화와 적절한 서브에이전트, 작업, 응답을 추가해야 합니다. 또한 필수 열은 발화 열과 하나 이상의 다른 열입니다. 빈 값은 실패로 처리됩니다.

테스트 실행하기

CSV 파일에 자체 테스트 사례를 생성했으면 이제 테스트를 시작할 준비가 되었습니다. 이제 테스트하는 방법을 살펴보겠습니다.

중요 사항입니다!

• 테스트를 실행하면 요청과 크레딧이 소모됩니다. 테스트 센터 고려 사항을 참조하세요.
  
• 에이전트 테스트 시에는 CRM 데이터를 수정할 수 있습니다. 문제를 방지하려면 Agentforce 테스트 센터를 Sandbox 환경에서만 사용해야 합니다.
  

1. Setup(설정)의 Quick Find(빠른 찾기) 상자에서 Testing Center(테스트 센터)를 검색한 다음 선택합니다.
   
2. New Test(새 테스트)를 선택합니다.
   
3. Test Name(테스트 이름)에 Test Agentforce v1(Agentforce v1 테스트)을 입력합니다. 참고: 자체 테스트를 생성할 때는 버전을 사용하고 테스트 이름을 구체적으로 지정하여 다른 테스트 및 버전과 쉽게 구분할 수 있도록 하세요.
   
4. Einstein Copilot - v1 또는 Agentforce (Default) - v1을 선택합니다.
   에이전트를 두 개 이상 선택할 수 있습니다. 각 테스트는 하나의 에이전트에 대해서만 실행됩니다.
   
5. Description(설명)에 Test cases for Agentforce to verify account summaries and details(계정 요약 및 세부 정보 확인을 위한 Agentforce 테스트 사례)를 입력합니다.
   설명은 실행되는 테스트 사례 유형을 설명하는 자연어로 작성해야 합니다.
   
6. Next(다음)를 클릭합니다.
   
7. 테스트 조건을 사용하면 에이전트가 입력값을 필요로 할 때 테스트에서 사용하는 컨텍스트 변수를 지정할 수 있습니다. 이번 테스트에서는 이를 사용할 필요가 없습니다. Next(다음)를 클릭합니다.
   
8. Upload Files(파일 업로드)를 클릭하고 testing_template.csv 테스트 파일을 선택합니다.
   
   
   

9. Done(완료)을 클릭합니다.
   
10. Next(다음)를 클릭합니다.
    
11. Save(저장)를 클릭합니다.
    

잘 하셨습니다. Agentforce 테스트 센터에서 첫 번째 테스트를 생성하셨습니다. 테스트 파일과 테스트 매개 변수의 작동 방식에 대한 인사이트도 얻으셨습니다. 다음 유닛에서는 AI를 사용하여 테스트를 생성하는 방법을 살펴보겠습니다.

다음 유닛으로 넘어가기 전에 Check Challenge to Earn 500 Points(과제를 확인하고 500포인트 획득)를 클릭하세요.

리소스

• Salesforce 뉴스 및 인사이트: Salesforce, Agentforce 테스트 센터 출시
• Trailhead: Einstein 트러스트 레이어
• Salesforce 도움말: Agentforce 테스트 센터를 통해 테스트 생성