에이전트 신뢰하기
학습 목표
이 유닛을 완료하면 다음을 수행할 수 있습니다.
- 여러 테스트 유형의 이점을 설명합니다.
- 자동화된 테스트를 통해 에이전트에 대한 신뢰도를 높이는 방법을 설명합니다.
- 수동 테스트와 자동화된 테스트의 차이를 설명합니다.
시작하기 전에
Agentforce 에이전트를 처음 접하는 경우라면 다음 뱃지를 먼저 획득하여 본 뱃지에서 사용하는 용어를 익히는 것이 좋습니다.
신뢰: Salesforce의 최우선 가치
Salesforce가 하는 모든 일의 근간에는 신뢰라는 가치가 깊이 자리 잡고 있습니다. 저희가 테스트를 중요하게 여기는 이유입니다. Apex 테스트는 새 배포가 있을 때마다 자동으로 실행됩니다. 유닛 테스트에서는 각 유닛이 예상대로 작동하는지 확인합니다. 플로는 모든 기능이 기대한 바와 같이 작동하는지 확인하기 위해 테스트합니다. 간단히 말하자면, 테스트는 제품과 프로세스에 대한 신뢰를 확보하는 가장 좋은 방법 중 하나입니다.
Salesforce 관리자로서 테스트는 조직 내 모든 것이 원활하게 운영되도록 지원하는 데 있어 핵심적인 요소가 되어야 합니다. 여러분은 전용 Sandbox에서 새 프로세스를 테스트할 수 있습니다. 대규모 사용자 그룹을 대상으로 사용자 수용 테스트(UAT)를 수행할 수도 있습니다. 테스트를 통해 모든 내용을 확인한 다음, 새로운 프로세스를 프로덕션 환경에 배포하고 모니터링하여 모든 것이 원활하게 작동하는지 확인할 수 있습니다.
신뢰성을 위한 에이전트 테스트
그렇다면 Agentforce로 생성하는 에이전트는 어떨까요? Salesforce 조직의 다른 구성 요소들과 동일한 수준의 신뢰성과 안정성을 어떻게 확보해야 할까요?
그 해답은 바로 테스트입니다.
이 모듈의 후반 부분에서 에이전트 테스트에 관해 자세히 알아보겠지만, 먼저 에이전트 AI를 테스트할 때 발생할 수 있는 몇 가지 어려움부터 살펴보겠습니다.
도전 과제 | 의미 |
|---|---|
실행할 때마다 다른 결과를 생성하는 생성형 AI의 비결정적 특성 | “생성형 AI는 비결정적이어서 테스트할 때 기준으로 삼을 정답을 정해 둘 수 없습니다.” |
확장성이 떨어지는 수동 테스트 | “생성형 AI의 주관적인 특성 때문에 확정성이 떨어지는 수동 테스트에 의존해야 합니다.” |
안전 및 윤리적 문제 | “생성형 AI는 유해하거나 의도하지 않은 결과를 생성할 수 있습니다.” |
표준 결여 | “생성형 AI는 여전히 새로운 분야이며, 따라야 할 기존 표준이 없습니다.” |
이러한 문제에 직면하더라도 걱정하지 마세요. Agentforce 테스트 센터에서 도와드리겠습니다.
Agentforce 테스트 센터 소개
Agentforce 테스트 센터는 Agentforce 구축 시 발생할 수 있는 문제를 해결하고 안전하고 반복 가능한 방식으로 신뢰할 수 있는 AI 에이전트를 롤아웃할 수 있도록 설계되었습니다. Agentforce 테스트 센터에서 에이전트를 테스트하는 것은 AI 에이전트에 대한 신뢰를 구축하는 데 매우 중요한 단계입니다.
Agentforce 테스트 센터는 노코드 테스트 도구를 제공하여 신뢰할 수 있는 에이전트를 손쉽게 배포할 수 있도록 설계되었습니다. 테스트는 프로덕션 환경과 독립되어 적절하게 구성된 Sandbox에서 진행됩니다. 시간이 지나면서 에이전트가 업데이트되거나 더 많은 작업이 추가됨에 따라 더 많은 테스트를 추가할 수도 있습니다. 즉, 비즈니스가 변화하고 성장함에 따라 에이전트도 계속해서 변화하고 성장합니다.
테스트 방법
Agentforce 에이전트의 문제 해결, 검증 및 유지 관리에 사용되는 테스트 방법에는 수동 테스트와 자동화된 테스트의 두 가지가 있습니다.
수동 테스트
Agentforce 빌더를 사용하면 에이전트를 구축하고 업데이트하면서 수동 테스트를 진행하고 문제를 해결할 수 있습니다. 빌더에서 대화 미리보기를 사용하여 에이전트에 질문하기만 하면 됩니다. 이후 응답의 내용과 응답이 생성된 방식을 살펴 볼 수 있습니다. 이 방법은 에이전트의 문제를 해결하고 질문에 따라 올바른 프로세스가 호출되는지 확인할 수 있는 매우 좋은 방법입니다. 하지만 이러한 방식의 테스트는 많은 시간이 걸리며, 발생할 수 있는 모든 상황을 직접 테스트하는 것은 어려운 일입니다. 또한 필요할 때마다 수동 테스트를 반복하는 일 역시 어렵고 시간이 많이 소요됩니다. 바로 이 부분에서 Agentforce 테스트 센터의 진가가 드러납니다.
자동화된 테스트
Agentforce 테스트 센터를 사용하면 자동화된 배치 테스트를 수행하여 테스트 시간을 단축할 수 있습니다. 배치 처리를 통해 사용자 입력을 대규모로 테스트할 수도 있습니다. 이러한 입력 또는 질문을 발화라고 하는데, 예를 들어 “ACME 계정에 대해 진행 중인 모든 기회를 보여주세요.”와 같은 발화입니다. 테스트 실행마다 하나의 발화를 사용합니다. 여러 발화를 예상 응답과 결합하여 테스트 배치를 만들 수 있습니다. 에이전트의 신뢰성을 지속적으로 보장하기 위해 필요에 따라 테스트를 반복적으로 사용하고 추가할 수 있습니다.
Agentforce 테스트 센터는 테스트 환경에서 한 번에 많은 테스트를 실행하여 성능 테스트를 수행하는 데에도 도움이 됩니다. Agentforce 테스트 센터는 AI를 활용하여 수백 가지의 동적 상호 작용을 생성할 수 있습니다. Agentforce 테스트 센터는 에이전트가 어떤 서브에이전트와 작업을 선택하는지 확인하기 위해 테스트를 병렬로 자동 실행합니다. 테스트 결과를 검토한 후 Agentforce 빌더에서 수동으로 테스트하고 문제를 해결하여 필요에 따라 지침과 가드레일을 조정합니다. 자동화된 테스트는 대화의 다양한 버전을 수동으로 테스트하는 데 소요되는 시간을 단축합니다.
안심하고 배포하기
테스트가 완료되면 비즈니스 운영에 지장을 주거나 고객 데이터가 오염될 염려 없이 에이전트를 프로덕션 환경에 안심하고 배포할 수 있습니다. 또한 설정 변경, DevOps Center, 그리고 이제 Data 360 및 Agentforce를 지원하는 Salesforce CLI와 같이 현재 사용 중인 도구를 통해 프로덕션 환경으로 변경 사항을 이전하여 배포할 수 있습니다.
고려 사항 및 제한 사항
에이전트를 구축하고 테스트할 때 몇 가지 사항을 고려해야 합니다.
비용
테스트를 수동 또는 자동으로 실행하면 고객이 에이전트를 사용할 때와 같이 동일하게 요청과 크레딧이 소모됩니다. 이는 Sandbox 환경에서 실행하는 경우에도 마찬가지입니다. 테스트 자체에 비용이 발생하지만, 테스트를 하지 않을 경우 훨씬 더 큰 비용이 발생할 수 있습니다. 자세한 내용은 Agentforce 및 생성형 AI 사용 및 청구서를 살펴보세요.
보안
에이전트 테스트 시에는 CRM 데이터를 수정할 수 있습니다. 불필요한 데이터 수정을 방지하려면 Agentforce 테스트 센터 및 Agentforce 빌더 테스트를 Sandbox 환경에서만 사용해야 합니다.
한도
현재는 10시간 동안 최대 10개의 테스트 작업을 동시에 실행할 수 있으며, 테스트당 최대 1000개의 테스트 사례를 생성할 수 있습니다.
테스트 및 테스트 사례 사용에 대해 자세히 알아볼 준비가 되셨나요? 다음 유닛에서 직접 실습해 보세요.
