Models API 기본 사항 알아보기
학습 목표
이 유닛을 완료하면 다음을 수행할 수 있습니다.
- Models API로 할 수 있는 작업을 설명합니다.
- Models API를 언제 사용해야 하는지 설명합니다.
Models API 소개
Models API는 Salesforce 파트너(Anthropic, Google, OpenAI 포함)의 대규모 언어 모델(LLM)에 애플리케이션을 연결하는 Apex 클래스와 REST 엔드포인트를 제공합니다. Einstein Studio에서 구성할 수 있는 모든 Salesforce 지원 모델을 사용할 수 있습니다.
REST 엔드포인트와 Apex 메서드를 통해 네 가지 Models API 기능을 사용할 수 있습니다. 그럼 자세히 살펴보겠습니다.
Models API 주요 기능
기능 | 설명 |
|---|---|
텍스트 생성. | Models API는 전체 채팅 대화가 아닌 단일 프롬프트에서 텍스트를 생성할 수 있습니다. 이 기능은 대화형을 제외한 간단한 작업을 수행하고 모델의 기능을 테스트하는 데 유용합니다. |
임베딩 생성. | 임베딩은 콘텐츠 청크를 숫자로 나타낸 것입니다. 임베딩은 임베딩 벡터라고도 합니다. 두 콘텐츠 청크 간의 시맨틱 유사성을 측정하려는 경우 코사인 유사도, 유클리드 거리, 내적과 같은 수학적 연산을 임베딩 벡터에 적용할 수 있습니다. 임베딩은 검색 증강 생성(RAG)과 시맨틱 검색 기능에 일반적으로 사용됩니다. |
채팅 생성. | Models API는 채팅 대화를 위한 메시지를 생성할 수 있습니다. 이를 통해 단일 프롬프트에 제한되지 않고 메시지 목록으로 모델에 프롬프트를 전달할 수 있습니다. 목록의 각 메시지는 대화 기록의 일부를 나타냅니다. |
피드백 제출. | Models API로 생성된 모든 텍스트에 대해 피드백을 제공할 수 있습니다. Data 360에 저장된 이 데이터를 사용하여 응답 품질을 검토하고 요청이나 모델 구성을 업데이트할 수 있습니다. |
Models API 사용 방법
Models API는 Einstein 생성형 AI 프롬프트 빌더와 언뜻 유사해 보일 수 있습니다. AI 모델을 Salesforce org에 연결하고 Salesforce 데이터로 모델을 그라운딩하는 작업은 프롬프트 템플릿으로 쉽게 처리할 수 있습니다.
Models API는 유연성과 확장성을 염두에 두고 설계되었으며, 기존의 개발자용 Salesforce AI 제품을 보완합니다. 프롬프트 빌더와 Prompt Template Connect API는 빠른 프롬프트 관리에 유용하며, Agentforce는 인터랙티브 채팅 경험을 제공합니다. Models API는 개발자가 맞춤형 AI 애플리케이션을 설계할 수 있게 임베딩 및 대화 기록을 포함한 채팅 생성 같은 추가 기능을 제공합니다.
이제 Models API의 실제 사용 사례를 살펴보겠습니다.
DreamHouse Realty는 직원들에게 지역 및 전국 주택 시장 상황을 알릴 수 있는 방법을 모색하고 있습니다. 주택 구매자는 DreamHouse Realty가 자원을 통해 제공할 수 있는 것보다 더 타게팅된 커뮤니케이션에 더 좋은 반응을 보입니다. 특히 젊은층의 주택 구매자는 전반적인 주택 시장 상황에 민감하며, 최적의 선택을 찾기 위해 자체적으로 조사를 하기도 합니다. DreamHouse Realty가 생성형 AI를 활용하여 시장 조사 결과를 명확하게 제공하면 구매자와 판매자 모두의 신뢰도를 높일 수 있습니다.
Maria Garza는 DreamHouse Realty의 개발자입니다. Maria는 외부 Housing Market API의 데이터를 분석하고 요약하여 DreamHouse Realty 직원에게 제공하는 Models API 기반의 내부 대시보드를 구축하고 있습니다. 장기적으로 DreamHouse Realty는 이 대시보드를 완전한 AI 기반 업무 지원 도구로 발전시킬 계획입니다. 이 대시보드는 중개인이 시장 상황을 이해하는 데 도움을 줄 뿐만 아니라, 조직 데이터를 통해 클라이언트와의 연결도 강화할 수 있습니다.
현재 Maria는 첫 번째 단계에 집중하고 있습니다. 환경을 설정하고, Models API chatGenerations 엔드포인트를 활용하는 간단한 대시보드를 만드는 것입니다.
신뢰도 유지하기
신뢰는 Salesforce의 최우선 가치입니다. 따라서 LLM과 연동할 때 사용자 데이터를 계속해서 보호하는 것이 매우 중요합니다. Salesforce Einstein 생성형 AI 솔루션은 신뢰할 수 있는 생성형 AI를 위한 5가지 원칙을 기반으로 설계, 개발 및 제공됩니다.
- 정확성
- 안전
- 투명성
- 강화
- 지속 가능성
Salesforce는 OpenAI와 같은 LLM 공급업체와도 계약을 체결하고 있습니다. 이 계약에는 데이터 보존 금지에 대한 약정이 포함되어 있어, 타사 LLM 공급업체가 개인정보를 저장할 걱정 없이 생성형 AI를 사용할 수 있습니다.
모든 Models API 호출은 Einstein Trust Layer를 통해 처리됩니다. Einstein Trust Layer는 Salesforce Platform에 내장된 보안 AI 아키텍처입니다. 이는 생성형 AI 솔루션을 탐색하는 동안 회사를 안전하게 보호하기 위해 사용되는 일련의 계약, 보안 기술, 데이터 및 개인정보보호 제어입니다.
Models API에 대한 생성 호출은 자동으로 데이터 마스킹과 유해성 점수 매기기를 수행합니다. API는 유해성 감지 여부를 나타내는 플래그와 점수 정보를 함께 반환합니다. 이 정보는 Data 360에도 저장됩니다. Data 360 내에서는 유해성 점수, 데이터 마스킹, 피드백 데이터에 대한 추가 정보를 확인할 수 있습니다.
Einstein Trust Layer는 실제 사람이 내리는 판단을 대체하는 것이 아닙니다. 생성형 AI 결과를 고객과 공유할 계획이라면 모든 응답을 정확성, 편향, 유해성 측면에서 검토하는 것이 중요합니다.
지원되는 모델
Models API는 Amazon Bedrock, Azure OpenAI, OpenAI, Google Vertex AI와 같은 여러 공급업체의 대규모 언어 모델(LLM)을 지원합니다.
Models API는 Einstein Studio의 Bring Your Own LLM(BYOLLM) 기능을 지원합니다. BYOLLM을 사용하면 지원되는 공급업체의 기반 모델을 추가하고, 자체 모델 인스턴스를 구성한 뒤, 자체 자격 증명을 사용하여 모델에 연결할 수 있습니다. 추론은 고객의 모델에서 처리되지만, 요청은 여전히 Models API를 통해 전달되며 Trust Layer 기능도 완전히 지원됩니다.
Models API를 통해 직접 사용할 수 있는 모델과 Einstein Studio의 BYOLLM 기능으로 지원되는 모델에 대한 자세한 내용은 이 유닛의 자원 섹션에 있는 '지원되는 모델' 페이지를 참조하세요.
이제 Models API가 무엇이며 어떤 기능을 제공하는지 알았으니, 자체 Models API Lightning 웹 구성 요소를 위한 기반을 마련할 차례입니다.