Salesforce Managed LLM의 Hyperparameter 변경법 

많은 분들이 아직 잘 모르시는 세일즈포스의 기능 중 하나는, 저희 세일즈포스에서 제공하는 Salesforce Managed LLM의 하이퍼 파라미터를 바꿀 수 있다는 사실입니다. 

하이퍼파라미터는 LLM이 답변을 내놓는 형식과 Variance를 통제할 수 있는 일종의 매개변수인데요. 

예를들어 이런 것들이 있습니다. 

Temperature : 창의성 조절에 대한 변수로, 0에 가까운 숫자일 경우 결정적, 1에 가까울수록 창조적 

Frequency Panelty : 같은 단어의 반복 정도 

Presence Penalty : 새로운 주제의 도입 장려 정도  

자세한 내용과 설명은 구글에 "ChatGPT 하이퍼파라미터"라고 검색하시면 천재분들이 상세하게 설명해놓은 많은 글들을 찾으실 수 있을 거에요.

여러분들이 일반적인 ChatGPT를 사용할때는 이러한 변수들 통제가 어렵지만, API를 통해서 ChatGPT를 호출할 경우, 이러한 파라미터를 통제할 수 있고, 세일즈포스에서도 이러한 기능을 제공합니다.. 

1. Salesforce의 AI 모델을 관리할 수 있는 Einstein Studio

Einstein Studio는 Data Cloud안의 기능으로, 세일즈포스에 연결되는 Predictive / Generative AI Model을 설정할 수 있는 기능입니다. Agentforce를 사용하신다면, 세일즈포스에서 제공하는 다양한 Managed LLM의 리스트를 확인하실 수 있지요. 

이중 하나의 모델을 Edit하여 클릭시 해당 모델의 파라미터 조절이 가능합니다. 

참고로 이 Einstein Studio에서는 여러분의 Amazon/Google등에 호스팅 되어 있는 Predictive AI Model이나 여러분의 LLM Model을 API 형태로 붙여서 세일즈포스에서 사용되도록 할 수 있는 기능들도 있습니다. 

2. Model Playground 

개별 모델을 Edit하여 클릭하게 되면, 해당 모델의 하이퍼파라미터 매개변수들을 수정하실 수 있는 옵션이 있습니다. 그리고 프롬프트를 넣어서 답변을 테스트 해볼 수도 있지요. 

여기서 조절된 하이퍼파라미터 기반의 LLM Model을 저장할시에, 여러분이 조절한 하이퍼라미터가 적용된 LLM 모델을 Prompt Builder에서 사용할 수 있습니다. 

이상으로 Salesforce Managed LLM의 하이퍼파라미터 조절에 대해서 알아보았습니다. Agentforce를 도입시에, 많은 분들이 이 설정이 있는 것을 모르시거나 간과하시는 부분도 분명히 계실 것 같아요. 이 파라미터 조절을 통해서 여러분이 원하는 답변 형식과 내용을 도출하는데 조금이라도 도움이 되실 것이라고 생각합니다. 

감사합니다.