Agentforce 가드레일과 신뢰 패턴 살펴보기

학습 목표

이 유닛을 완료하면 다음을 수행할 수 있습니다.

• 플랫폼 가드레일을 설명합니다.
  
• Agentforce 가드레일을 설명합니다.
  
• Agentforce 가드레일을 사용자 정의하는 방법을 설명합니다.
  
• Salesforce에서 에이전트를 구축할 때 사용하는 신뢰 패턴을 설명합니다.
  

가드레일로 신뢰도 유지하기

AI는 빠르게 발전하고 있습니다. 이처럼 급격한 변화 속에서 불안을 느끼는 것은 자연스러운 반응입니다. Salesforce의 제품 팀과 윤리적 및 인도적 사용 사무국(OEHU)에서는 제품에 대한 신뢰를 유지하는 것이 매우 중요하다는 점을 인식하고, 다음과 같은 방식으로 에이전트 AI의 위험과 우려 사항을 해소하고 있습니다.

• 신뢰할 수 있는 에이전트를 구축하는 데 필요한 제어 수단 확인
  
• 테스트 전략 수립
  
• 제품 내 윤리적 가드레일 추가
  
• 고객에게 더 나은 윤리적 지침 제공
  

Salesforce는 이러한 가드레일을 제품에 통합하고 명확한 윤리 지침을 제공함으로써 기업이 AI 기술을 책임감 있게 다루고, 모두에게 안전하고 신뢰할 수 있는 환경을 유지하도록 지원합니다.

이제 Salesforce 제품 전반에서 제어 기능을 제공하는 플랫폼 가드레일부터 자세히 알아보겠습니다.

플랫폼 가드레일

Salesforce는 안전하고 윤리적이며 규정을 준수하는 플랫폼 운영을 지원하기 위해 포괄적인 정책, 지침, 프로토콜 집합을 설계했습니다. 이러한 가드레일에는 다음이 포함됩니다.

• 수용 가능한 사용 정책(AUP): Salesforce 서비스를 사용하는 고객을 위한 일반 규칙으로, 플랫폼이나 사용자에게 피해를 줄 수 있는 활동을 금지합니다.
  
• 수용 가능한 AI 사용 정책(AI AUP): Salesforce AI 기술 사용에 대한 구체적인 규칙으로, 책임감 있는 방식으로 제품을 사용할 수 있도록 안내합니다.
  
• 모델 제한 정책: AI 모델 사용을 위한 운영 규칙으로, 오용이나 의도치 않은 영향을 방지하기 위해 제한을 설정합니다.
  

이러한 제어는 플랫폼의 무결성, 보안, 윤리적 기준을 유지하는 프레임워크를 형성합니다. 예를 들어, AUP에서는 플랫폼을 스팸이나 피싱 행위에 사용할 수 없다고 명시합니다. AI AUP에서는 실제 사람이 최종 결정을 내리지 않는 한 AI가 법적이거나 중요한 결정을 내릴 수는 없다고 명시합니다. 모델 제한 정책은 데이터 유출이나 오용을 방지하기 위해 AI 모델이 액세스할 수 있는 데이터 유형을 제한할 수 있습니다.

Agentforce 가드레일

Agentforce 가드레일은 특정 Salesforce Cloud 또는 제품, 비즈니스 사용에 맞게 설계된 규칙, 지침, 모범 사례의 집합으로, 에이전트가 현지 법률과 표준을 준수하게 지원합니다. Agentforce에는 AI 환각을 최소화하기 위한 윤리적 가드레일과, 프롬프트 주입과 같은 위협 및 악성 공격을 방지하기 위한 보안 가드레일이 포함됩니다.

에이전트 유형

Salesforce는 특정 클라우드와 일반적인 사용 사례를 위해 바로 사용 가능한 에이전트를 제공합니다. 각기 다른 에이전트 유형은 에이전트 동작을 정의하는 자체 설정과 가드레일을 제공합니다. 예를 들어, Agentforce 서비스 에이전트(ASA) 유형은 AI 에이전트에서 실제 담당자로 대화를 에스컬레이션할 시점을 결정하기 위해 주제 지침을 사용합니다. 세일즈 개발 담당자(SDR) 에이전트 유형은 관리자가 정의한 참여 규칙을 제공하여 에이전트가 리드 관련 작업을 시작할 수 있는 조건과 에이전트 이메일을 보낼 수 있는 방법과 시점을 안내합니다.

주제, 주제 지침, 작업

각 에이전트에는 사전 구축된 주제와 작업 집합이 포함됩니다.

주제는 에이전트가 수행해야 할 특정 업무와 관련된 작업의 범주입니다. 주제에는 업무를 수행하기 위한 도구인 작업과, 에이전트가 의사결정을 내리는 방법을 알려 주는 지침이 포함됩니다. 주제는 에이전트가 처리할 수 있는 업무의 범위를 정의합니다. Salesforce는 일반적인 사용 사례에 적합한 표준 주제 라이브러리를 제공합니다.

주제 지침은 에이전트 동작에 대한 지침을 설정하고, 작업을 효과적으로 수행하는 데 필요한 컨텍스트를 제공합니다. 각 주제는 특정 업무와 관련된 작업의 범주로, 작업(도구)과 지침(의사결정 지침)을 포함합니다. 지침은 여러 사용 사례에서 주제의 작업을 어떻게 사용할지에 대해 에이전트가 의사결정을 내리는 데 도움을 줍니다. 이러한 지침은 일반적으로 '항상…', '절대…', '만약 x라면 y…', '첫 번째 단계로…'와 같은 형태로 작성되어 명확하고 일관적인 동작을 안내합니다.

작업은 에이전트가 업무를 수행하는 방식입니다. 에이전트에는 에이전트가 수행할 수 있는 업무의 집합인 작업 라이브러리가 포함됩니다. 예를 들어, 사용자가 이메일 작성에 대한 도움을 요청하면 에이전트는 이메일의 초안을 작성하고 수정하며 관련 Salesforce 데이터에 그라운딩하는 작업을 수행합니다. Salesforce는 일부 작업을 기본으로 제공하며, 이러한 작업을 표준 작업이라고 합니다. 표준 주제와 작업을 기본으로 포함하면 에이전트가 즉시 다양한 일반 작업에서 사용자를 지원할 수 있습니다.

가드레일 맞춤 설정하기

더 세밀한 제어를 위해 에이전트 주제 지침을 사용하여 경계를 만들고, 컨텍스트를 설정하며, 에이전트 동작을 정의할 수 있습니다. 표준 에이전트 주제의 지침을 수정하거나 처음부터 맞춤형 주제를 생성할 수 있습니다.

이러한 가드레일은 관리자가 제어하며, 일반적으로 내부 리더 또는 주요 의사결정자의 승인을 받습니다. 이를 통해 조직의 가치와 규정 준수 요구 사항을 반영하는 신뢰도를 갖춘 지침을 마련할 수 있습니다.

Einstein Trust Layer

또한 AI 에이전트는 Salesforce에 기본적으로 내장된 보안 AI 아키텍처인 Einstein Trust Layer와 통합되어 있습니다.

기업 보안 표준에 맞게 설계된 Trust Layer를 사용하면 고객 데이터를 손상시키지 않으면서도 생성형 AI의 이점을 누릴 수 있습니다. 또한 신뢰할 수 있는 데이터를 사용하여 생성형 AI 응답을 개선할 수도 있습니다.

1. 데이터 그라운딩: Trust Layer는 생성형 프롬프트가 신뢰할 수 있는 회사 데이터를 기반으로 최적화될 수 있게 합니다.
   
2. 데이터 보존 금지: 타사 LLM 제공업체는 데이터를 보유하지 않습니다.
   
3. 유해성 탐지: 잠재적으로 유해한 LLM 응답을 탐지하고 표시합니다.
   
4. AI 모니터링: AI 상호 작용은 이벤트 로그에 캡처되어 각 사용자 상호 작용의 결과에 대한 가시성을 제공합니다.
   

에이전트의 신뢰 패턴

Salesforce는 제품 전반에 걸쳐 안전성을 향상하기 위해 표준 제품 설계인 여러 핵심 신뢰 패턴을 구현합니다. 다음은 몇 가지 예입니다.

구현 모범 사례

조직에서 Agentforce 가드레일을 구현할 때 다음 모범 사례를 따르세요.

리소스

• Salesforce 도움말: 주제 작성 지침 모범 사례
• Salesforce: 신뢰 패턴: Salesforce가 AI 제품에 대한 신뢰를 구축하는 방법
• Salesforce 도움말: 신뢰와 에이전트
• Salesforce 도움말: Einstein Trust Layer