책임감을 갖고 생성형 AI 만들기
학습 목표
이 유닛을 완료하면 다음을 수행할 수 있습니다.
- 책임감 있는 생성형 AI 개발의 5가지 원칙을 나열할 수 있습니다.
- Salesforce 제품에 탑재된 신뢰할 수 있는 생성형 AI 기능을 식별할 수 있습니다.
- 윤리적 위험을 식별하고 안전장치를 만들기 위한 모범 사례를 설명할 수 있습니다.
생성형 AI, 새로운 형태의 인공 지능
최근까지만 해도 AI에 대한 논의는 예측형 AI에 관한 내용이 주를 이루었습니다. 이러한 유형의 인공 지능은 기존의 데이터를 살펴보고 현재 주어진 정보를 바탕으로 사실에 대한 제한적인 예측을 하는 데 중점을 둡니다. 이제는 예측형이 아닌 생성형 AI가 차기 인공지능의 새로운 유형으로 떠오르고 있습니다. 핵심적인 차이점은 무엇일까요? 예측형 AI는 추세를 분석하는 반면, 생성형 AI는 새로운 컨텐츠를 생성합니다.
생성형 AI는 실시간 지원 에이전트와의 대화를 효과적으로 시뮬레이션하는 봇과의 실시간 대화부터 마케터, 프로그래머, 창의적 혁신가를 위한 애플리케이션까지 매우 다양한 기능을 제공합니다. 또한 생성형 AI가 조성하는 문화적 순간으로 인해 사용자들이 그 가능성을 확인하고자 모여들고 있습니다. 사람들 중 대부분은 일상 속에서 이러한 알고리즘을 접하게 되고, 그러한 알고리즘은 시간이 갈수록 중요한 역할을 하게 될 것입니다.
신기술에는 항상 미지의 영역이 존재합니다. 생성형 AI에는 의도적인 남용과 비의도적인 편향을 비롯하여 기술을 최대한으로 활용하기 위해 숙지하고 해결해야 할 위험들을 내포하고 있습니다.
위험 요인 파악하기
Salesforce는 책임감 있고 신뢰할 수 있는 방식으로 기술을 설계하고, 개발하고, 배포하는 데 중점을 두고 있습니다. Salesforce는 새로운 기술을 구축하는 것으로 인해 초래될 의도한 결과 및 의도하지 않은 결과를 예측합니다.
그러면 이제 생성형 AI의 잠재적 위험 몇 가지를 살펴보겠습니다.
정확성
생성형 AI 모델은 예측에 탁월합니다. 생성형 AI 모델은 동일한 범주에 속하는 수많은 사례를 수집하여 새로운 컨텐츠를 생성합니다. 하지만 이 모델이 유명 작가의 문체를 반영하여 새로운 문장을 생성할 수는 있을지라도, 그 문장이 사실인지 알 수 있는 방법은 없습니다. 즉, 사용자가 AI의 예측이 검증된 사실이라고 가정하는 경우 문제의 소지가 있습니다. GAI의 기능인 동시에 버그인 셈입니다. 초기에는 상상력을 자극하는 창의적인 기능을 모델에 부여했습니다. 하지만 이로 인해 그럴듯해 보이는 결과물이 정말로 현실에 존재하는 것처럼 착각하기 쉬워집니다.
편향과 유해성
사람 간의 상호작용에는 어느 정도의 유해성, 즉 비속어를 사용하거나 극단적 편견을 옹호하는 것과 같은 유해한 행동이 포함될 수 있으며, 이러한 특성을 인식하고 필터링하도록 조정해 주지 않으면 AI는 그러한 유해성을 그대로 재현합니다. 실제로 AI가 예측을 할 때 지엽적인 데이터를 배제하는 경우가 종종 있으며, 이로 인해 오히려 편향을 증폭할 수도 있습니다. AI는 소외된 계층 역시 배제 대상에 포함할 수 있습니다.
개인정보 보호 및 안전성
생성형 AI의 가장 강력한 기능 중 두 가지는 인간의 행동을 모방할 수 있다는 점, 그리고 그러한 모방을 매우 빠르게, 대규모로 실행할 수 있다는 점입니다. 이러한 기능 덕분에 놀라운 가능성을 내포하고 있는 것입니다. 하지만 이 기술을 악용하여 매우 짧은 시간 안에 엄청난 피해를 손쉽게 입힐 수 있다는 단점도 존재합니다. 이러한 모델은 학습 데이터를 ‘유출’하여 거기에 포함된 사람들의 개인 정보를 노출하는 경향이 있습니다. 또한 생성형 AI는 그럴 듯한 피싱 이메일을 생성하거나 목소리를 복제하여 보안 시스템을 통과할 수도 있습니다.
혼란
AI는 무궁무진한 가능성을 내포하고 있기 때문에, 의도대로 작동하는 경우에도 사회에 위험을 초래할 수 있습니다. 경제적 혼란, 직업과 책임의 변화, 그리고 모델을 운영하기 위한 강력한 컴퓨팅 성능의 필요성으로 인한 지속 가능성 문제는 우리가 공유하는 모든 영역에 영향을 미칩니다.
신뢰: 기본 원칙
신뢰는 Salesforce의 최우선 가치이며, 생성형 AI 애플리케이션을 개발하고 배포하는 데 있어서 절대적인 원칙입니다. Salesforce는 기준을 제시하고자 책임감 있는 생성형 AI 개발과 기술의 잠재력을 활용하면서 그 함정에 빠지지 않도록 방지하기 위한 원칙을 수립하였습니다.
정확성: 생성형 AI는 다른 모델들과 마찬가지로 학습한 데이터를 기반으로 예측을 합니다. 즉, 양질의 데이터가 뒷받침되어야만 정확한 결과물을 생성할 수 있다는 것입니다. 또한 AI가 제공하는 결과물이 부정확하거나 불확실할 수 있다는 점을 사용자가 인지해야 합니다.
안전성: 편향, 설명 가능성 및 견고성 평가와 더불어 부정적인 결과에 대한 의도적인 스트레스 테스트를 통해 유해성 및 오해의 소지가 있는 데이터와 같은 위험으로부터 고객을 보호할 수 있습니다. 또한 Salesforce는 학습에 사용된 데이터에 존재하는 개인 식별 정보(PII)를 보호합니다. 그리고 코드를 프로덕션에 자동으로 푸시하지 않고 샌드박스에 게시하는 것과 같은 추가적인 피해를 방지하기 위한 안전장치를 마련합니다.
정직성: 고객의 데이터는 Salseforce의 소유물이 아닙니다. 모델을 학습시키고 평가하기 위한 데이터를 수집할 때 Salesforce는 데이터 출처를 존중하고 데이터 사용에 대한 동의를 받았는지(예: 오픈소스, 사용자 제공) 확인해야 합니다. 또한 사람들이 AI를 사용하거나 AI와 대화할 때 정교하게 설정된 챗봇을 실제 상담 에이전트로 착각하지 않도록 워터마크 또는 고지 사항을 통해 이를 알려야 합니다.
역량 강화: 완전 자동화 프로세스가 최선의 선택지인 경우들이 있습니다. 하지만 AI가 사람을 보조하는 역할을 해야 하거나 사람의 판단이 개입되어야 하는 경우도 있습니다. Salesforce는 사람의 역량을 극대화하는 것을 목표로 합니다. 이를 위해 직원의 업무 효율을 향상하거나 업무를 간소화하고, 고객이 자신이 만든 컨텐츠의 진위를 파악할 수 있는 도구와 리소스를 제공하는 AI를 개발합니다.
지속 가능성: AI 모델은 규모가 크다고 무조건 좋은 것은 아닙니다. 규모는 작지만 잘 학습된 모델이 규모만 크고 제대로 학습되지 않은 모델보다 더 나은 경우가 종종 있습니다. 알고리즘의 성능과 지속 가능성 간의 적절한 균형을 찾는 것이 우리 모두의 미래에 생성형 AI를 도입하는 데 있어서 핵심적인 문제입니다.
AI 관련 조치에 적용되는 가이드라인
그렇다면 이러한 약속을 이행하기 위해서는 어떤 노력이 필요할까요? Salesforce가 취하고 있는 몇 가지 조치를 소개합니다.
Einstein Trust Layer: Salesforce에서는 최종 사용자 경험에 원활하게 통합된 데이터 및 개인정보보호 제어를 통해 생성형 AI의 보안을 강화할 수 있도록 Einstein Trust Layer를 Salesforce Platform에 통합했습니다. 도움말의 Einstein Trust Layer에서 더 자세히 알아볼 수 있습니다.
제품 설계 관련 의사결정: AI를 활용할 때 부정확하거나 오해의 소지가 있는 내용을 공유하는 위험에 노출되지 않고 자신의 요구 사항을 충족할 수 있도록 신뢰할 수 있는 인사이트와 지원을 제공받는다는 점을 사용자가 믿을 수 있어야 합니다.
Salesforce는 책임감을 가지고 제품을 개발합니다. 버튼 하나하나의 색깔부터 결과물에 대한 제한 사항에 이르는 모든 요소를 검토하여 고객이 경쟁력을 유지하는 데 필요한 기능을 타협하지 않으면서도 위험으로부터 고객을 보호하기 위해 가능한 모든 조치를 취하고 있습니다.
의식적 불편함: 사용자는 사용 사례에 대한 최선의 의사결정을 내리는 데 필요한 정보를 항시 확보해야 합니다. Salseforce는 방해가 되지 않으면서도 의식적으로 적용된 불편함을 통해 사용자가 사전에 대비할 수 있도록 돕습니다. 여기서 ‘불편함’이란 검토를 장려하기 위해 업무를 완료하는 일반적인 프로세스에 단계를 추가하는 것입니다. 예를 들어, 앱 내 지침 팝업을 통해 사용자에게 편향에 대해 알려주거나, 감지된 유해성을 표시하고 답변을 보내기 전에 신중하게 검토할 것을 고객 서비스 상담원에게 요청할 수 있습니다.
레드 티밍(Red teaming): Salesforce는 레드 티밍을 활용합니다. 이는 사용자가 시스템을 어떻게 사용 및 오용할지 예상하고 테스트하여 시스템 내 취약점을 의도적으로 찾아내는 방식을 통해 생성형 AI 제품이 압박에 대응할 수 있는지 확인합니다. Trailhead의 Einstein Trust Layer에서 Salesforce가 Trailhead 제품에 대한 신뢰를 구축하는 방법을 자세히 알아보세요.
Salesforce가 자사 제품을 테스트하는 방법 중 하나는 예방적 ‘프롬프트 주입 공격’으로, AI 모델이 이전에 수립된 지침 또는 바운더리를 무시하도록 특별히 설계된 프롬프트를 만들어 이를 수행하게 됩니다. 이와 같은 실제 사이버 보안 위협을 예측하는 데 실제 공격에 대응할 수 있도록 모델을 개선하는 일은 필수입니다.
사용 제한 정책: AI가 정말 다양한 애플리케이션에 걸쳐 있기 때문에 Salesforce는 AI 제품에 대한 구체적인 지침을 마련해 두고 있습니다. 이를 통해 고객과 최종 사용자 간의 신뢰를 보장하는 사용 제한 가이드라인을 투명하게 설정할 수 있습니다. 이러한 접근 방식은 새로운 것이 아닙니다. Salesforce는 안면 인식 및 사람으로 가장한 봇을 금지하는 등 사용자를 보호하기 위한 AI 정책을 이미 시행하고 있었습니다.
지금은 Salesforce의 기술에 대한 고객의 신뢰가 지속될 수 있도록 생성형 AI를 고려하여 기존 AI 가이드라인을 재정비하고 있습니다. 당사가 더욱 발전된 AI 제품과 기능을 제공하고 있는 지금, 업데이트된 규칙을 통해 누구든지 사용 사례에 대한 지원 여부를 확인할 수 있습니다. 보다 자세한 내용은 Salseforce 사용 제한 정책에서 알아보실 수 있습니다.
향후 전망 탐색하기
생성형 AI는 사람과 비즈니스의 협업 양상을 변화시킵니다. 당사가 모든 질문에 대한 답을 갖고 있는 것은 아니지만, 몇 가지 모범 사례를 제안하고자 합니다.
협업
책임감 있는 진보를 추진하기 위해서는 기업 내, 공공 및 민간의 상호 파트너십이 반드시 필요합니다. Salesforce 팀은 NAIAC(National AI Advisory Committee) 및 NIST 위험 관리 프레임워크와 같은 외부 위원회 및 이니셔티브에 적극적으로 참여하여 보다 신뢰할 수 있는 생성형 AI를 만들기 위한 업계 전반의 노력에 이바지하고자 합니다.
다양한 관점 수용
제품 수명 주기 전반에 걸쳐 다양한 관점을 통해 위험을 효과적으로 예측하고 솔루션을 개발하는 데 필요한 광범위한 인사이트를 제공합니다. 결과 스캐닝과 같은 행위를 통해 생성형 AI의 현재와 향후의 방향성에 관한 대화에서 제품에 꼭 필요한 요소를 반영할 수 있습니다.
가장 진보된 AI조차도 이 기술이 업무, 커머스, 그리고 다른 모든 것의 미래를 어떻게 변화시킬지 예측할 수 없습니다. 하지만 우리는 협업을 통해 인간 중심의 가치가 보다 효율적이고 확장 가능한 미래를 쌓아올릴 수 있는 신뢰의 주춧돌을 형성할 수 있습니다.