에이전트 가드레일 정의하기

학습 목표

이 유닛을 완료하면 다음을 수행할 수 있습니다.

• Agentforce의 신뢰도를 보장하는 가드레일을 설명합니다.
  
• Agentforce 프로젝트와 관련된 잠재적 위험을 식별합니다.
  
• 프로젝트를 위한 위험 완화 전략을 정의합니다.
  

Trailcast

이 모듈의 오디오 레코딩을 들어보려면 아래 플레이어를 사용하세요. 이 레코딩을 모두 들은 후 각 유닛으로 돌아와서 리소스를 확인하고 관련 평가를 완료하는 것을 잊지 마세요.

자율형 AI의 위험성

자율형 AI 에이전트는 조직에 가치를 제공하고 고객 경험을 향상할 수 있는 매우 강력한 도구입니다. 하지만 여기에는 위험도 함께 따릅니다. 보안 위협, 데이터 침해, 평판 손상, 재정적 손실, 편향, 환각, 투명성과 책임성 문제 등의 여러 위험이 있습니다.

그러나 이같은 위험이 존재해도 조직 내에서 자율형 AI를 안전하게 배포할 수 있습니다. 적절한 계획과 Salesforce Platform을 활용한다면 신뢰할 수 있는 AI 에이전트 제품군을 전부를 구축하고 구현해낼 수 있습니다.

신뢰할 수 있는 AI 에이전트

여러분은 신뢰할 수 있는 에이전트 AI에서 Agentforce의 가장 두드러지는 특징 중 하나는 가드레일의 중요성이라는 점을 알고 있습니다. 이러한 가드레일은 각 에이전트의 운영 경계를 정의하여 에이전트가 할 수 있는 작업과 할 수 없는 작업을 명시합니다. 자연어를 사용해서 에이전트의 행동에 대한 가이드라인과 작동 방식을 지정할 수 있습니다.

AI 에이전트의 가드레일 외에도 Salesforce Platform에 기본 제공되는 Einstein Trust Layer는 회사의 보안 및 규정 준수 기준에 부합하는 작업을 수행하도록 합니다. 여기에는 피해 및 유해성 감지 메커니즘이 포함되어 있어 에이전트가 부적절하거나 유해한 활동에 관여하지 못하도록 방지합니다.

이 유닛에서는 Nora가 Coral Cloud의 AI 협의회와 함께 자율형 AI 사용 사례와 관련된 위험을 식별하고, 이를 해결하기 위한 계획을 수립하는 과정을 살펴봅니다.

거버넌스의 중요성

AI 에이전트를 위한 Salesforce 가드레일은 강력하고 견고하지만, Nora는 Coral Cloud의 모든 가드레일이 기술 자체에만 의존하지는 않는다는 점을 알고 있습니다. 기술 영역 바깥에서 이루어지는 일 역시 그만큼 중요합니다.

Coral Cloud가 AI 전략을 수립할 때 팀은 AI 거버넌스 관행을 정립했으며, 이는 AI 에이전트를 위한 포괄적인 위험 완화 전략을 계획하는 데 도움이 됩니다.

AI 거버넌스의 예시를 들어 보겠습니다. Coral Cloud에서는 AI 협의회의 요구에 따라 모든 신규 AI 프로젝트의 안전성을 검토하는 과정을 거쳐야 합니다. 이는 기술적 기능이 아닌 하나의 비즈니스 프로세스로, 조직을 AI 위험으로부터 보호하는 데 도움을 줍니다. Nora는 회사가 프로젝트의 가드레일과 거버넌스를 더 심층적으로 고려할 수 있도록 안전성 검토를 위한 일정을 계획합니다.

반대 의견 극복하기

일부 조직에서는 위험이라는 주제에 접근하는 것조차 어려울 수 있습니다. 위험 완화 조치로 인해 개발 프로세스의 속도가 늦춰진다는 인식이 있기 때문입니다. 하지만 위험을 사전에 해결하지 않으면 AI 프로젝트가 실제 프로덕션 단계에 도달하기도 전에 중단될 수 있습니다.

AI의 설계 및 프로토타이핑 단계에 위험 관리를 통합하면 프로젝트를 가속화하고 필요한 윤리적 및 법적 요구 사항, 규제 및 보안 요구 사항을 충족할 수 있습니다. 하나의 사용 사례에서 위험을 관리하는 방법을 익히면 다음 사용 사례에 위험 관리 방법을 연쇄적으로 빠르게 확장할 수 있습니다.

에이전트가 무엇이며 비즈니스에 어떤 도움을 줄 수 있는지를 보다 비기술적인 용어로 설명하면 탄탄한 기반을 구축하는 데 도움이 됩니다. 이러한 기반은 향후 프로젝트에 적용되어 AI를 더 원활하고 성공적으로 구현할 수 있습니다.

위험에 관한 대화를 구성하는 방법

그렇다면 위험에 관련된 대화를 어떤 방식으로 접근하면 좋을까요? 사람, 비즈니스, 기술, 데이터 프레임워크를 사용하는 것을 권장합니다. 이는 많은 조직에 이미 익숙한 구성 방식이기도 합니다. 이러한 범주와 고려 사항을 활용하면 Agentforce 프로젝트와 관련된 잠재적 위험과 우려 사항을 도출할 수 있습니다.

위험과 우려 사항 식별하기

Nora는 이 프레임워크를 사용하여 Coral Cloud의 예약 관리 사용 사례와 관련된 위험 및 우려 사항을 논의합니다. Coral Cloud의 AI 협의회 이해관계자들은 각 범주별로 발생할 수 있는 위험과 우려 사항을 식별합니다. 다음 목록에 모든 사항이 포함되어 있지는 않으며, 모든 사용 사례에는 비즈니스 고유의 위험과 우려 사항이 존재한다는 점을 유념하세요.

Nora의 경우, 회사의 Knowledge 기사에 있는 한계점이 도입 전략에 어떤 영향을 미치는지 확인할 수 있습니다. 하지만 Coral Cloud는 위에 나열된 많은 위험을 실제로 겪을 수도 있습니다. 결국 에이전트가 리조트의 정책을 따르지 않거나 직원들에게 에이전트의 유용성을 추적할 방법이 없다면, 직원들이 고객에게 5성급 경험을 제공하기는 쉽지 않을 것입니다.

위험 완화 전략 정의하기

이제 Coral Cloud의 AI 협의회가 위험과 우려 사항을 분류했으므로, Nora와 팀원들은 각 위험에 대한 완화 전략을 브레인스토밍할 수 있습니다. 이들은 잠재적인 가드레일을 도출하면서, 각 가드레일이 사람, 비즈니스, 기술, 데이터 중 어느 범주와 관련되는지 생각합니다.

다음은 Coral Cloud가 식별한 두 가지 위험에 대한 잠재적 가드레일의 예시입니다.

Nora는 이미 예약 관리 구현의 범위를 좁히기 위한 계획을 마련했습니다. 하지만 비즈니스에 관련하여 에이전트에게 질문하는 고객이 올바른 기대치를 설정할 수 있도록 조치를 취할 수도 있습니다. 이 경우, 에이전트가 예약 관련 질문에 답변하도록 설계되었음을 알리는 고지 사항을 에이전트의 환영 메시지에 포함할 수 있습니다. 또한 다른 서비스에 대한 정보는 어디에서 확인할 수 있는지도 안내합니다.

문서화 및 테스트

Nora와 AI 협의회가 위험을 완화하기 위한 조치를 마치면, 해당 사용 사례에 대한 위험과 가드레일을 문서화합니다. Coral Cloud의 위험 완화 활동을 문서로 기록해 두는 것은 규정 준수에 중요하며 내부 감사에도 유용합니다.

또한 반복적인 작업을 통한 개선도 문서화만큼 중요하다는 점을 잊지마세요. 기술 관련 가드레일이 효과적인지 확인하기 위해 Sandbox 환경에서 Agentforce의 보안 장치를 직접 구성해 보세요. 직접 테스트하며 다양한 시나리오에서 가드레일이 어떻게 작동하는지 확인하세요. 이러한 접근 방식은 초기 단계에서 공백이나 문제를 식별하고 필요한 사항을 조정하는 데 도움이 됩니다. 문서화와 실전 테스트를 함께 활용하면 AI 에이전트에 대한 위험 완화 전략을 수립할 수 있습니다.

이제 Nora는 사전 거버넌스 계획 준비를 마치고, 프로젝트의 또 다른 필수 요소로서 Coral Cloud 에이전트가 수행할 작업을 설명하는 단계로 나아갈 수 있게 되었습니다.

리소스

• Salesforce 도움말: Einstein Trust Layer
• 웹 사이트: 신뢰할 수 있는 AI 자원 살펴보기
• 웹 사이트: Human at the Helm(인간 주도의 AI 활용 원칙): 사람이 주도적으로 AI에 대한 신뢰 구축하기