Salesforce에서 대규모 언어 모델을 사용하는 방법 알아보기

학습 목표

이 유닛을 완료하면 다음을 수행할 수 있습니다.

• Salesforce가 LLM을 신뢰할 수 있도록 만드는 방법을 설명할 수 있습니다.
  
• 비즈니스에 적합한 LLM 옵션을 선택할 수 있습니다.
  
• 사용 가능한 LLM 옵션의 한계점에 대해 설명할 수 있습니다.
  

신뢰를 바탕으로 한 선도

신뢰는 Salesforce에서 가장 중요한 가치입니다. 따라서 Salesforce에서 안전하고 신뢰할 수 있는 방식으로 대규모 언어 모델(LLM)을 사용하는 것은 당연한 일입니다. 이러한 신뢰를 유지하는 핵심은 바로 Einstein Trust Layer입니다. Einstein Trust Layer는 Salesforce 최종 사용자 경험에 원활하게 통합된 데이터 및 개인정보보호 제어를 통해 생성형 AI의 보안을 보장합니다. 이러한 제어를 통해 Einstein은 잠재적인 보안 위험 없이 검색 증강 생성(RAG)을 안전하게 사용하여 고객 데이터와 회사 데이터를 기반으로 응답하는 AI를 제공할 수 있습니다. 간단히 말해서 Einstein Trust Layer는 신뢰할 수 있으며 개방형인 생성형 AI를 구현하기 위해 함께 작동하는 일련의 게이트웨이와 검색 메커니즘입니다.

신뢰할 수 있는 Salesforce 에이전트

Agentforce 에이전트는 RAG를 사용해 Salesforce 및 Data 360 데이터를 기반으로 안전한 프롬프트를 구축함으로써 Einstein Trust Layer를 통해 최신 LLM을 사용합니다. 이를 통해 직원과 고객을 지원할 수 있는 AI 에이전트를 안전하고 다양한 기능을 갖춘 환경에서 활용할 수 있게 됩니다. 이러한 에이전트는 단순히 제안만 하는 것이 아니라 독립적으로 작업을 완료할 수도 있습니다. 예를 들어 사람의 개입 없이 고객 문의를 처리하고, 문제를 해결하며, 판매 추천을 할 수 있습니다. 이 모든 과정에서 Trust Layer를 통해 데이터를 보호하고 신뢰할 만한 응답을 제공합니다.

가장 적합한 대규모 언어 모델 선택

Agentforce의 모든 추론 엔진 호출은 OpenAI GPT-4o를 기본 모델로 사용하며, 일부 경우에는 Azure OpenAI GPT-4o를 사용합니다. 그러나 비즈니스 요구 사항에 적합한 다른 모델을 선택할 수도 있습니다. 작업에 적합한 모델을 확보해야 생성형 AI를 더 빠르게 시작할 수 있으며 기대하는 결과를 얻는 데 도움이 된다는 사실을 알아두는 것이 중요합니다. Salesforce는 다른 많은 LLM에 대한 배포 기능을 제공하는 동시에 기업이 데이터 프라이버시, 보안, 레지던시 및 규정 준수 목표를 유지할 수 있도록 지원합니다.

많은 기업이 코딩, 감성 분석, 컨텐츠 생성과 같은 사용 사례별로 서로 다른 LLM을 사용하고 있습니다. 사용 사례를 위한 모델을 선택할 때는 모델 성능, 비용, 응답 품질, 속도를 고려하는 것이 좋습니다. 지리 정보를 인식하는 모델을 선택할 수도 있습니다. 이러한 모델은 조직에 프로비저닝된 Data 360의 위치를 기반으로 LLM 요청을 가까운 데이터 센터로 자동으로 라우팅합니다. 이를 통해 데이터 레지던시에 대한 통제 범위를 확장하고 지연 시간을 축소할 수 있습니다.

Salesforce 관리형 LLM 사용

Salesforce 관리형 LLM은 인터넷에서 LLM에 액세스하고, 생성형 AI를 빠르게 시작할 수 있는 탁월한 방법입니다. Models API 또는 프롬프트 빌더를 사용하여 다양한 Salesforce 관리형 모델을 통해 AI 구현을 맞춤화할 수 있습니다. Salesforce에서 다양한 모델을 기본으로 제공하며, 이를 활용하여 구성 과정을 신속하게 진행할 수 있습니다.

현재 Salesforce 관리형 모델의 목록은 대규모 언어 모델 지원 도움말 문서를 참고하세요.

Salesforce 호스팅 타사 LLM 사용

Salesforce 내에서 모델을 호스팅할 수도 있습니다. 개방형 협력체계를 지향하는 Salesforce의 노력의 일환으로, Einstein은 Amazon, Anthropic, Cohere 등의 LLM을 전적으로 Salesforce 인프라 내에서 호스팅하도록 설계되었습니다. Einstein은 Salesforce 인프라에서 고객 프롬프트 및 응답을 유지하는 데 도움을 줍니다. 또한 Salesforce와 OpenAI는 Einstein Trust Layer를 통해 컨텐츠를 안전하게 전송하도록 신뢰할 수 있는 공유 파트너십을 구축했습니다.

자체 대규모 언어 모델 가져오기(BYOLLM)

이미 자체 LLM에 투자하고 있는 경우 이를 Salesforce에 연결하여 사용자 정의 프롬프트 빌더 템플릿 내에서 사용할 수 있습니다. 자체 인프라에 데이터를 저장하는 동시에 Salesforce 외부에서 자체 도메인별 모델을 학습한 경우에도 Einstein의 이점을 누릴 수 있습니다. 연결한 외부 LLM을 통해 프롬프트를 실행하면 내부적으로 연결된 LLM과 동일하게 작동하며, 사용자와 컨텐츠를 공유하기 전에 LLM Gateway와 Einstein Trust Layer를 통해 요청을 라우팅합니다.

BYOLLM 옵션은 빠르게 변화하고 있습니다! 새로운 업데이트에 대한 리소스를 계속 확인해 보세요.

리소스

• Trailhead: Einstein 트러스트 레이어
• Trailhead: Einstein Trust Layer에서 대규모 언어 모델 데이터 마스킹
• Salesforce 도움말: Einstein Trust Layer: 신뢰를 위한 설계
• Salesforce 도움말: 자체 모델 가져오기
• Trailhead: AI용 데이터 준비하기
• Salesforce: LLM(대규모 언어 모델)이란?
• 뉴스 및 인사이트: Salesforce, 독점 데이터를 사용하여 기업이 AI 모델을 간편하게 구축하고 배포할 수 있도록 지원하는 BYOM 출시
• 개발자 블로그: 데이터 클라우드로 자체 AI 모델 가져오기