Salesforce가 신뢰할 수 있는 에이전트 AI를 구축하는 방법 알아보기

학습 목표

이 유닛을 완료하면 다음을 수행할 수 있습니다.

• 신뢰할 수 있는 에이전트 AI가 무엇을 의미하는지 정의합니다.
  
• 에이전트와 관련된 주요 위험을 설명합니다.
  
• 책임감 있는 에이전트 AI를 위한 지침 원칙을 설명합니다.
  

시작하기 전에

AI 솔루션을 위한 거버넌스 및 신뢰 전략을 더 잘 이해하기 위해 다음 뱃지를 살펴보는 것이 좋습니다.

• AI 거버넌스 수립
  
• 신뢰 전략 계획
  

신뢰할 수 있는 에이전트 AI란?

신뢰는 Salesforce의 우선 가치입니다. 그리고 이는 에이전트 AI에도 적용됩니다. Salesforce 에이전트 AI는 Salesforce의 책임감 있는 AI 가이드라인을 기반으로 구축되었으며, 이는 플랫폼 전반에서 AI 에이전트의 급속한 성장과 관련된 새로운 과제를 해결하기 위한 토대입니다.

가치와 지침 원칙만큼 중요한 것이 이를 뒷받침하는 구체적인 행동도 매우 중요합니다. Salesforce는 Einstein Trust Layer, Agentforce 가드레일, 신뢰 패턴의 구현을 통해 이를 실현해 왔습니다. 또한 윤리 레드 티밍과 수용 가능한 AI 사용 정책(AUP)을 적용하여 AI 시스템이 안전하고 윤리적인 범위 내에서 작동하도록 합니다. 이러한 조치는 회사의 가치를 한 단계 높일 뿐만 아니라 AI 기술에 대한 신뢰를 구축하고 유지하기 위한 탄탄한 기반을 마련합니다.

먼저 몇 가지 용어를 살펴본 다음 Salesforce가 신뢰할 수 있는 Agentforce의 구축을 지원하는 방법을 살펴보겠습니다.

Agentforce

Agentforce는 Salesforce Platform의 에이전트 레이어에 대한 브랜드로, 고객 대상 및 직원 대상 에이전트를 모두 포함합니다.

에이전트

에이전트는 자율적이고 목표 지향적이며, 인력 개입을 최소화하며 작업과 비즈니스 상호 작용을 수행합니다. 에이전트는 하나의 작업이나 일련의 여러 작업을 시작하고 완료하며, 자연어 대화를 처리하고, 비즈니스 데이터에서 추출한 관련 정보를 안전하게 제공할 수 있습니다. 또한 업무 플로에서 Salesforce 사용자를 지원하고 협업하는 데 사용될 수도 있습니다. 사용자나 고객을 대신하여 행동할 수도 있죠. 에이전트는 Salesforce 인터페이스나 고객 채널에서 사용할 수 있습니다.

에이전트 AI

에이전트 AI는 AI 에이전트가 자율적으로 작동하고, 의사결정을 내리며, 변화에 적응할 수 있게 하는 AI 시스템입니다. 에이전트 AI는 학습과 적응을 돕는 도구와 서비스를 제공함으로써 AI 에이전트와 사람 간의 협업을 촉진합니다.

책임감 있는 에이전트 AI 원칙 가이드

Salesforce는 에이전트를 책임감 있게 개발하고 사용하기 위해 노력하고 있습니다. Salesforce의 핵심 원칙은 다음과 같습니다.

정확성

Agentforce의 두뇌 역할을 하는 추론 엔진은 주제 분류를 사용하여 사용자의 요청을 특정 주제에 매핑합니다. 주제에는 에이전트가 수행할 수 있는 지침, 비즈니스 정책, 작업 집합이 포함됩니다. 이를 통해 에이전트가 의도된 작업에 집중할 수 있습니다.

그라운딩을 통해 에이전트는 Salesforce org에서 적합한 컨텍스트를 찾아 프롬프트에 사용합니다. 이러한 방식은 조직 데이터를 직접적으로 활용하여 응답의 정확성 및 적합성을 보장해 줍니다.

안전성

Salesforce의 에이전트는 기본 보호 장치가 마련되어 있어 의도하지 않은 결과를 방지하고 안전한 응답을 제공합니다.

• Salesforce는 에이전트 응답의 범위를 제한하는 시스템 정책을 마련하여, 에이전트가 주제를 벗어나지 않으면서 안전하고 윤리적인 방식으로 응답하도록 합니다. Einstein Trust Layer 도움말 주제의 프롬프트 방어 섹션을 확인해 보세요.
  
• Einstein Trust Layer는 에이전트 응답에서 유해한 콘텐츠를 감지하고 이를 감사 추적에 기록하여 사용자가 이를 모니터링하고 적절히 대응할 수 있게 합니다.
  
• Salesforce는 타사 대규모 언어 모델(LLM) 제공업체에 대해 데이터 보존 금지 정책을 적용하므로, 데이터가 Salesforce Trust 경계를 벗어난 범위에 보존되지 않습니다. 데이터 보존 금지 정책과 LLM 제공업체와의 계약상 약정을 통해, 데이터가 타사 LLM 학습에 사용되지 않도록 보장합니다.
  

정직성

Salesforce는 데이터 출처를 존중하며 이를 사용하기 위한 동의를 얻습니다. AI 생성 콘텐츠에 대해 투명성을 유지하며, AI가 해당 콘텐츠를 생성했음을 명시합니다. 또한 AI가 응답을 생성할 때 표준 고지 문구를 포함하도록 하여 사용자에게 투명하게 안내합니다.

역량 강화

Salesforce는 사람과 AI 간의 협업에 초점을 둡니다. AI는 특히 사람의 판단이 필요한 작업에서 사람을 지원해야 합니다. 일부 작업은 완전히 자동화될 수 있지만, 실제 사람의 감독이 필요한 작업도 존재합니다. Salesforce는 사람이 위험도 높은 의사결정을 내리도록 하고 반복적인 작업은 자동화함으로써, 사람과 AI의 효과적인 협력을 지원합니다.

지속 가능성

Salesforce는 환경에 미치는 영향을 줄이기 위해 효율적인 AI 모델을 만드는 것을 목표로 합니다. 소규모여도 잘 학습된 모델이 대규모 모델보다 더 뛰어난 성능을 보이는 경우도 많습니다. 또한 Salesforce는 효율적인 하드웨어와 저탄소 데이터 센터를 사용합니다. 에이전트는 특정 작업에 맞게 최적화된 xLAM 및 xGen-Sales와 같은 모델을 사용하여, 환경에 미치는 영향을 최소화하면서 높은 성능을 낼 수 있습니다.

이러한 원칙을 따름으로써 신뢰할 수 있고, 안전하며, 투명하고, 역량을 강화하며, 지속 가능한 에이전트를 설계합니다. Salesforce는 핵심 가치를 지키면서 AI를 통해 사람의 역량을 한 단계 높이기 위해 노력하고 있습니다.

주요 위험과 우려 사항

AI 시스템의 자율성이 높아지면서 이에 따라 오용 및 의도하지 않은 결과가 발생할 가능성도 높아집니다. 이러한 시스템이 윤리적이고 투명하게 작동하도록 하는 것은 사용자 신뢰를 유지하고 피해를 방지하는 데 매우 중요합니다. 고려해야 할 주요 위험 요소는 다음과 같습니다.

의도하지 않은 결과

AI 에이전트의 자율적 행동은 예상치 못한 결과와 잠재적으로 유해한 결과를 초래할 수 있습니다. 여기에는 편향되거나 부적절한 콘텐츠 생성, 잘못된 의사결정, Salesforce의 윤리 지침에 부합하지 않은 사용자 상호 작용 등이 포함될 수 있습니다. AI의 프로그래밍과 학습된 패턴 간의 상호 작용은 예상하지 못했거나 바람직하지 않은 행동으로 이어질 수 있으며, 이는 신뢰를 약화시키고 안전 문제를 초래할 수 있습니다.

보안 및 개인정보보호

에이전트가 민감한 데이터를 다루므로 특히 보안과 개인정보보호 문제의 중요성이 두드러지고 있습니다. 보안을 적절하게 고려하지 않고 설계할 경우, 민감한 데이터가 의도치 않게 유출되어 사용자 신뢰를 저해할 수 있습니다.

윤리 및 법적 고려 사항

에이전트는 정책과 법적 요구 사항을 준수해야 합니다. 에이전트가 윤리적으로 행동하고 법률을 준수하도록 하는 것은 법적 문제를 피하고 신뢰를 유지하는 데 필수적입니다.

인간 제어의 상실

에이전트의 자율성이 높아지면서 사람이 감독을 유지하기가 어려워질 수 있습니다. 이는 오류, 윤리적 침해, 사용자 및 플랫폼 평판에 대한 피해로 이어질 수 있습니다.

자동화 편향

사용자는 AI 출력이 항상 정확하고 신뢰할 수 있다고 가정하며, 이를 과도하게 신뢰할 수 있습니다. 검색 증강 생성(RAG)은 AI 출력이 실제로는 오류를 포함하고 있음에도 매우 권위 있으며 신뢰할 만한 것처럼 보이게 만들어 이러한 편향을 심화시킬 수 있습니다. 이처럼 과도하게 AI 출력에 의존할 경우 오류가 발생할 수 있습니다.

사용자 오용 증가

더 많은 사용자가 생성형 AI와 상호 작용하면서 오용의 가능성도 증가합니다. 사용자는 AI를 유해한 목적으로 악용하거나 적절한 사용 방법을 잘못 수용하여, 부적절한 콘텐츠 생성이나 개인정보 침해와 같은 문제를 일으킬 수 있습니다.

Salesforce는 이러한 문제를 완하하기 위한 방법을 마련했습니다. 플랫폼과 제품에 가드레일을 구축하고, 레드 티밍을 통한 적대적 테스트를 수행하며, 사용자를 보호하는 수용 가능한 AI 사용 정책을 개발합니다. 또한 제품 내에서 가드레일을 맞춤 설정할 수 있도록 하여, 조직이 가드레일에 저마다의 고유한 가치와 규정 준수 요구 사항을 반영할 수 있게 합니다. 이에 관해서는 다음 두 유닛에서 더 자세히 소개할 예정입니다.

이 유닛에서는 자율 에이전트와 그에 수반되는 위험을 알아보았습니다. 또한 AI 에이전트를 개발하기 위한 기본 원칙과 관행, Salesforce에서 가드레일이 설계되는 방식도 살펴보았습니다. 다음 유닛에서는 Agentforce 가드레일과 신뢰 패턴이 신뢰할 수 있는 에이전트 AI를 구현하는 데 어떻게 사용되는지 알아보겠습니다.

리소스

• Salesforce: 윤리적 및 인도적 사용 사무국(OEHU) 개요
• Salesforce: 책임감 있는 AI 및 기술 팀 개요
• 외부 웹 사이트: LLM 보안 위험 대응 백서