기술의 윤리적인 사용 이해
학습 목표
이 유닛을 완료하면 다음을 수행할 수 있습니다.
- 편향과 공정성을 정의할 수 있습니다.
- 다양성이 있는 팀을 구성하여 편향과 공백을 방지할 수 있습니다.
- 회사 가치관을 프로세스로 변환할 수 있습니다.
- 윤리적인 디자인을 위해 고객을 이해하는 것의 중요성에 대해 설명할 수 있습니다.
책임있는 기술 디자인 및 개발
사람들은 이제야 새로운 기술이 사회에 영향을 미치는 방법을 이해하기 시작하고 있습니다. 일자리가 자동화로 대체되는 문제부터 SNS가 발달에 미치는 영향에 대한 추측에 이르는 다양한 쟁점이 대두되었습니다.
여러 산업에는 제품이 사회에 긍정적인 영향을 갖도록 하기 위한 표준, 프로토콜 및 법규가 적용됩니다. 예를 들어 의사들은 히포크라테스 선서를 따르고 윤리적인 의료 행위를 보장하기 위한 조사심의회(research review board)를 구성했습니다. 자동차 산업에는 운전법과 안전 벨트 및 에어백에 관한 안전 표준이 적용됩니다. 나아가 국제 연합(UN)은 2011년에 모든 개인에게 부여되는 권리와 자유를 보호해야 하는 기업 및 정부의 책임을 규정하는 기업과 인권 이행 지침(영문)을 공식적으로 지지했습니다.
Salesforce는 사회에 져야 하는 더 광범위한 책임이 있음을 이해하고, 고객의 성공을 이끌 뿐만 아니라 긍정적인 사회 변화에 기여하고 인류에 유익한 기술을 만들기를 원합니다. Salesforce는 고객이 당사 기술을 이용하여 긍정적인 영향을 미칠 수 있도록 지원함으로써 4차 산업 혁명의 길을 개척하기 위해 Office of Ethical and Humane Use를 개설했습니다. 이 노력은 Salesforce의 핵심 가치관(신뢰, 고객 성공, 혁신, 평등 및 지속가능성)에 근간을 두고 있습니다.
기술 윤리에 관한 문제는 그 어느 때보다도 더 시급하며, 모두가 해결 방법을 찾아야 할 책임이 있습니다.
편향 또는 공정의 의미
특히 인공 지능이나 자동화와 관련된 기술을 만들거나 사용하는 경우 편향과 공정성에 대해 자문해 봐야 합니다.
Salesforce에서는 '머신 러닝 프로세스에서 부정확한 가정으로 인해 시스템에서 의도된 기능과 다른 방식으로 불공정한 결과를 초래하는 컴퓨터 시스템의 체계적이고 반복 가능한 오류'로 편향을 정의합니다. 통계에서 편향이란 사실로부터의 조직적 편차, 즉 오차를 의미합니다. 사회적, 법적 관점에서, 연구학자 겸 교수인 Kate Crawford는 ‘중립적인 사실 평가가 아닌 기존 관념이나 선입견에 따른 판단’이라고 편향을 정의합니다.
공정성은 사리사욕, 선입견 또는 편애 없이 내리는 결정으로 정의됩니다. 현실에서 결정이 완벽하게 공정하기는 거의 불가능합니다. 2018년에 Association for Computing Machinery(미국 컴퓨터 학회)의 공정성, 책임 및 투명성에 관한 회의에서 한 토론단은 21개가 넘는 공정성의 정의를 목록으로 작성했습니다. 공정성에 대해 생각할 수 있는 방법이 이렇게 많다면, 사람이나 컴퓨터가 공정한 결정을 내리는지 어떻게 알 수 있을까요?
보다 올바른 정보에 입각하여 결정을 내리기 위해서는 결정이 미치는 영향을 이해해야 합니다. 가장 많은 사람에게 유익한 결정을 내려도 소수가 제외되고, 같은 소수가 간과되는 경우가 많으면 불공정합니다. 다음과 같이 자문해야 합니다. 일부 개인 또는 집단이 결정에 지나치게 많은 영향을 받는 불균형이 존재하는가? 과거 결정이나 부정확한 데이터에 존재하는 조직적 편향 때문에 일부 그룹이 공정하거나 중립적인 평가를 받을 가능성이 낮아지는가? 답이 예라면 해당하는 개인이 보호되도록 최적화해야 하는지 여부와 최적화할 방법을 결정해야 하는데, 이 결정이 다수에 유익이 되지 않을 수도 있습니다.
‘좋은’ 편향이라는 것도 있나요?
일각에서는 모든 편향이 나쁜지는 않다고 주장할 수 있습니다. 예를 들어 전립선암 약을 제조하는 제약사의 마케팅 캠페인이 남성만 대상으로 한다고 가정해 보겠습니다. 이 회사는 무관한 광고로 여성 사용자를 방해하지 않아서 여성에게 유익하기 때문에 자사의 마케팅 캠페인 대상을 정한 방법이 좋은 편향의 예라고 생각합니다. 하지만 회사의 데이터 집합이 시스젠더 사람들만 포함하거나 추가적인 정체성(남성/여성으로 구분되지 않는 사람, 트랜스젠더 여성, 트랜스젠더 남성 및 무성인)을 인정하지 않는 경우, 광고를 보고 유익을 얻을 수 있는 사람들이 제외될 수 있습니다. 성별과 성별 정체성에 대한 보다 복합적이고 정확한 이해를 바탕으로 광고 대상을 정하면 회사가 약품으로 유익을 얻을 수 있는 모든 사람에게 더 효과적으로 약에 대해 알리게 됩니다.
윤리적인 문화 조성
대부분의 회사들은 사람들을 일부러 불쾌하게 하거나 해하려고 하지 않습니다. 하지만 회사가 핵심 가치관을 정의하고 회사의 모든 임직원이 이 가치관에 따라 일하도록 하는 프로세스를 정하지 않으면 본의 아니게 그럴 수 있습니다. 리더는 가치관, 프로세스 및 인센티브를 정의하여 자사 문화에 영향을 미칠 수 있습니다. 리더는 교육생과 직원들에게 윤리를 업무에 적용하는 방법을 가르칠 수 있고 가르쳐야 하지만, 회사 문화가 건전하지 않으면 건강한 나무를 황폐한 과수원에 심는 것과 같습니다. 결국에는 건강한 나무에서도 좋지 않은 사과가 열립니다. 리더는 윤리적인 행동을 보상하면서 비윤리적인 행동을 적발하고 차단해야 합니다.
이에 관해서는 우리가 모두 리더임을 기억해야 합니다. 엔드투엔드 접근방식으로 윤리적인 문화를 조성하고 유지하여 변화를 이룰 수 있습니다.
- 다양성이 있는 팀을 구성합니다.
- 가치관을 프로세스로 변환합니다.
- 고객을 이해합니다.
다양성이 있는 팀 구성
연구에서는 팀원의 경험, 인종, 성별 및 능력이 다양한 팀이 더 창의적이고, 근면하고, 열심히 일하는 것으로 확인되었습니다. 특히 최고 경영진을 비롯한 조직의 모든 직급에 여성이 많을수록 수익성이 더 높은 경우가 일반적입니다. 자세히 알아보려면 이 유닛 끝에 있는 리소스 섹션을 참조하세요.
우리가 만드는 모든 것은 우리의 가치관, 경험 및 편향을 나타냅니다. 예를 들어 얼굴 인식 시스템은 백인 얼굴보다 흑인 또는 유색인 얼굴을 식별하지 못하는 경우가 더 많습니다. 이런 기술을 만드는 팀의 구성이 더 다양했다면 이 편향을 인식하고 해결했을 가능성이 더 큽니다.
개발 팀은 나이 및 인종과 문화, 교육 및 능력에 이르는 모든 면에서 다양성을 추구해야 합니다. 다양성이 결여되면 제품이 편향되고 기능에 공백이 생기는 악순환이 반복될 수 있습니다. 다양한 팀원을 채용할 수 없는 경우, 회사와 사용자 기반 전체에서 실제보다 비율이 너무 낮은 집단의 피드백을 구해보세요.
공동체 의식도 회사의 윤리적 기초를 구성합니다. 누구도 혼자서 윤리적으로 행동하거나 윤리를 장려해야 하는 책임을 지면 안 됩니다. 그 대신 회사 전체가 윤리에 대해 생각하고 의식해야 합니다. 직원들은 자유롭게 현 상태에 대해 문제를 제기하고 목소리를 낼 수 있어야 하며, 그래야만 회사에 어떤 위험이 있는지 파악할 수 있습니다. 팀원들은 각자의 분야에 따라 윤리와 관련하여 다음과 같은 질문을 해야 합니다.
- 제품 관리자: 알고리즘에 존재하는 위양성 또는 위음성이 비즈니스에 미치는 영향은 무엇인가요?
- 연구원: 시스템에 누가 어떻게 영향을 받나요? 시스템이 어떻게 남용될 수 있나요? 사람들이 어떻게 제품을 고장 내거나 의도되지 않은 방법으로 사용하려고 할 수 있나요? 제품이 어떤 사회적 상황에서 사용되나요?
- 디자이너: 어떤 기본 설정이나 추정을 제품에 내장하려고 하나요? 투명성과 공평성을 생각하고 디자인하고 있나요?
- 데이터 과학자: 모델을 이런 식으로 최적화하면 사용자에게 미치는 영향은 무엇인가요?
- 콘텐츠 작성자: 시스템의 예측, 추천 또는 결정 이유를 사용자가 이해할 수 있는 방법으로 설명할 수 있나요?
- 엔지니어: 피해를 줄이기 위해 시스템에 어떤 알림, 프로세스, 점검 또는 자동안전장치를 내장할 수 있나요?
이런 질문에는 여러 역할의 관점이 포함되었음을 알 수 있습니다. 제품 개발 라이프사이클의 모든 단계에 이해관계자와 팀 구성원을 포함시키면 시스템에 내재된 조직적인 사회적 불평등의 영향을 바로잡을 수 있습니다. 팀에 특정 역할을 수행하는 사람이 없거나 팀에서 여러 역할을 맡고 있는 경우, 각각의 관점이 모두 포함되도록 하려면 여러 역할의 입장에서 생각해야 할 수 있으며, 그러기 위해서는 외부에서 전문 지식이나 조언을 구해야 할 수 있습니다. 직원들이 받는 답변에 만족하지 않을 경우, 문제를 해결하는 분명한 프로세스(예: 심의회)가 있어야 합니다. 이에 관해서는 나중에 더 자세히 알아봅니다.
가치관을 프로세스로 변환
거의 모든 조직에는 직원들이 결정을 내릴 때 지침으로 삼을 수 있는 일련의 가치관이 있습니다. 다음 세 가지 방법으로 가치관을 실행에 옮길 수 있습니다.
- 인센티브 구조
- 리소스
- 기록 및 커뮤니케이션
인센티브 구조
인센티브 구조는 특정한 행동을 하고 특정한 목표를 달성하는 개인을 보상합니다. 인센티브 구조는 조직의 가치관에 따라 정해야 합니다. 직원 보상은 판매량, 고객 유치 및 사용자 교류를 기준으로 정해지는 경우가 많습니다. 이런 평가 기준은 때때로 윤리적인 의사 결정과 상반될 수 있습니다.
조직이 가치관에 부합하는 행동을 보상하고자 할 경우, 잠재적인 인센티브 구조에 윤리적 보상이 포함될 수 있습니다. 윤리적 보상은 버그 보상과 비슷하게 직원이 회사의 가치관에 반하거나 타인에게 해가 되는 결정 또는 프로세스나 기능을 신고하는 직원을 보상하거나 고객 거래에 대한 우려 사항을 얘기하고 잠재적인 법적 위험이나 대외 관계 관련 위험을 방지하는 영업 담당자를 보상합니다.
윤리적 기술 개발에 대한 질문을 채용 프로세스에 포함시킬 수도 있습니다. 그러면 신입 직원이 윤리적인 문화를 조성하는 것이 회사에 중요하고 윤리적인 사고와 행동이 보상됨을 알 수 있습니다.
직원 지원
책임감 있는 조직은 직원을 지원하고 회사의 가치관에 따라 결정을 내릴 수 있는 권한을 직원에게 부여하기 위한 리소스를 제공합니다. 이런 리소스에는 직원 교육(Trailhead가 훌륭한 교육 리소스임)과 어려운 문제를 해결하고 직원들이 지침을 따르도록 하는 심의회가 포함될 수 있습니다.
Salesforce에는 당사의 AI 모델, 교육 데이터 및 이를 사용하는 애플리케이션의 품질 및 윤리적 고려 사항에 대한 피드백을 제시하는 데이터 과학 심의회가 있습니다.
윤리적인 문화를 조성하면 직원이 윤리에 관해 우려 사항에 대해 얘기할 수 있는 힘을 갖게 되지만, 직원이 익명으로 문제를 제기할 수 있는 분명한 프로세스를 만드는 방법도 고려하는 것이 좋습니다. 마지막으로, 체크리스트는 토론을 촉발하고 중요한 문제가 간과되지 않도록 하는 데 매우 유용한 리소스입니다. 체크리스트는 일관성이 있고 이행하기 쉽지만 확인해야 하는 사항을 모두 포함하는 경우가 드물고, 분명하고 실행에 옮길 수 있어야만 유용합니다. 체크리스트는 직원들이 불편한 대화를 할 수 있는 계기가 되므로, 회사는 체크리스트를 통해 윤리적인 문화를 상향식으로 조성할 수 있습니다.
기록 및 커뮤니케이션
투명성과 일관성을 위해 의사 결정을 문서에 기록하세요. 팀이 윤리적인 갈림길에 있는 경우, 결정 사항과 결정 이유를 기록하면 나중에 다른 팀이 해당 경험을 통해 배우고 임의로 행동하지 않고 일관되게 행동할 수 있습니다. 기록 및 커뮤니케이션을 통해 프로세스와 프로세스에 따라 내려진 결정에 대한 직원과 이해관계자들의 신뢰도를 높일 수도 있습니다.
고객 이해
모든 고객을 이해해야 함은 말할 필요도 없습니다. 그러지 않으면 자기도 모르는 사이에 사용자 기반의 일부를 무시하고 일부 사용자에게 해가 될 수도 있는 제품을 디자인할 수 있습니다. 다음과 같이 자문해 보세요. 어떤 사용자의 필요와 가치관을 상의하지 않고 추정했는가? 누가 해를 입을 위험이 가장 크고, 그 이유는 무엇인가? 제품을 사용하여 고의적으로 해를 초래할 수 있는 악의적인 행위자나 제품을 잘못 사용하여 실수로 해를 초래할 수 있는 개인이 있는가? 이런 질문에 대한 답을 알면 문제를 해결하기 위해 일하기 시작할 수 있습니다. 고객에 대해 자세히 알아보려면 사용자 조사 담당자에게 문의하는 것이 좋습니다.
리소스
- 블로그 포스트: 윤리를 AI에 내장하기 - 1부(영문)
- 기사: 과학: 최고 경영진에 여성이 있는 기업의 수익성이 훨씬 더 높음(영문)
- 기사: 기술 분야에 여성이 필요한 이유(영어)
- Trailhead: UX 조사 기초
