인공 지능의 편향 인식
학습 목표
이 유닛을 완료하면 다음을 수행할 수 있습니다.
- AI 시스템 개발에서 데이터가 어떤 역할을 하는지 설명할 수 있습니다.
- 윤리적인 것과 합법적인 것의 차이점을 이해할 수 있습니다.
- AI 시스템에 유입될 수 있는 편향의 유형을 식별할 수 있습니다.
- 편향이 AI 시스템에 유입될 수 있는 지점을 찾을 수 있습니다.
인공 지능의 다양한 논점
인공 기능은 인간 지능을 보완하고, 인간 능력을 증폭하고, 직원, 고객, 파트너 및 커뮤니티에 보다 나은 결과를 가져오는 실용적인 통찰력을 제시합니다.
Salesforce는 AI의 유익을 AI를 만든 사람들뿐만 아니라 모두가 누릴 수 있어야 한다고 믿습니다. AI의 기술적인 기능만 제공하는 데 그치면 안 됩니다. 고객이 AI를 모두에게 안전하고 모두를 포용하는 방법으로 사용할 수 있도록 해야 하는 중요한 책임도 져야 합니다. Salesforce는 이 책임을 중요하게 생각하며, 직원, 고객, 파트너 및 커뮤니티에 AI를 안전하고 정확하고 윤리적으로 개발하고 사용하는 데 필요한 도구를 제공하는 데 전념합니다.
인공 지능의 기초 뱃지에서 학습한 것처럼, 인공 지능은 컴퓨터가 복잡한 작업을 수행하고 사람처럼 주체성이 있는 것처럼 보이게 행동하도록 학습시키는 행동을 의미하는 포괄적인 용어입니다. 이와 같은 작업을 위한 훈련에서는 컴퓨터가 데이터의 패턴을 학습할 수 있는 대규모의 데이터가 필요하곤 합니다. 이러한 패턴은 마치 우리가 태양계의 모델을 만들듯, 복잡한 시스템을 반영하는 모델을 형성합니다. 우수한 모델을 구축하면 우수한 예측을 하거나(예: 다음 일식 예측) 우수한 콘텐츠를 생성할 수 있습니다(예: 해적이 멋지게 쓴 시).
모델이 특정한 예측을 하거나 특정 방식으로 콘텐츠를 생성하는 이유를 항상 알 수 있는 것은 아닙니다. The Black Box Society(블랙박스 사회)의 저자인 Frank Pasquale는 이 투명성 결여를 블랙박스 현상이라고 설명합니다. AI를 만드는 회사는 시스템 뒤에서 진행되는 프로세스를 설명할 수 있지만, 모델에서 편향이 어디에 존재할 수 있는지 등 무슨 일이 실시간으로 어떤 순서로 일어나고 있는지를 알기는 더 어렵습니다. 편향과 공정한 결정이라는 관점에서, AI는 독특한 문제를 제기합니다.
윤리적인 것과 합법적인 것
모든 사회에는 시민이 준수해야 할 법이 있습니다. 하지만 윤리적인 기술을 개발하기 위해서는 법보다 더 많은 것에 대해 생각해야 합니다. 예를 들어 미국 연방법은 채용, 승진, 주택, 대출 또는 의료와 관련된 결정을 내리는 데 일반적으로 사용할 수 없는 특정한 특성을 규정하여 해당하는 사람들을 보호합니다. 이런 보호 계층은 성별, 인종, 나이, 장애, 피부색, 출신 국가, 종교 또는 신념, 유전 정보 등을 기준으로 규정됩니다. AI 모델이 이런 특성을 사용할 경우 법에 저촉될 수 있습니다. AI 모델이 이런 특성에 의존하여 결정을 내리는 것이 합법적인 경우에도 이런 종류의 편향을 허용하면 윤리적이지 않을 수 있습니다. 보호 계층과 관련된 문제는 개인 정보 보호와 합법성의 영역에도 영향을 미칠 수 있으므로, GDPR 트레일을 통해 자세히 알아보는 것이 좋습니다. 마지막으로, Salesforce 사용 제한 정책에 따라 Einstein 제품을 사용할 수 있고 사용할 수 없는 방법도 알아야 합니다.
AI는 편향을 조직적으로 해결할 수 있는 기회를 제시한다는 장점도 있습니다. 과거에는 개인이 내리는 결정 때문에 회사가 편향된 결정을 내리게 된다는 사실을 알아도 전체 프로세스를 수정하여 이 내재적인 편향을 극복하기가 어려웠습니다. 이제는 AI 시스템을 사용하여 디자인에 공정성을 내재하고 기존 관행을 개선할 기회가 있습니다.
AI 모델의 법적, 윤리적 영향을 주의깊게 살펴보는 것 외에, 모델이 인권을 존중하고 증진해야 하는 기업의 책임에 부합하는지도 평가해야 합니다. 그러기 위해서는 국제 인권법과 UN이 기업이 인권을 존중하도록 하기 위해 규정한 책임(인권에 미치는 영향을 평가하고 평가 결과를 토대로 행동을 취하고 이런 영향을 해결하는 방법에 대해 소통하기 위한 실사 프로세스 포함)을 고려해야 합니다.
주의해야 할 편향의 유형
편향은 다양한 방법으로 나타납니다. 편향이 조직적 오류의 결과물인 경우도 있고, 사회적 편견의 결과물인 경우도 있고, 이런 구별이 모호한 경우도 있습니다. 편향의 이 두 가지 원인에 대해 생각하면서, 편향이 AI 시스템에 유입될 수 있는 방법에 대해 알아보겠습니다.
측정 또는 데이터 집합 편향
데이터 레이블을 잘못 지정하거나 데이터를 잘못 분류하거나 지나치게 단순화하면 측정 편향이 발생합니다. 측정 편향은 사람이 데이터 레이블을 잘못 지정하는 경우에 유입되거나 컴퓨터 오류 때문에 유입될 수 있습니다. 특성, 요인 또는 그룹이 데이터 집합에서 차지하는 비율이 실제에 비해 너무 높거나 낮을 수 있습니다.
무해한 예인 고양이와 개의 이미지를 인식하는 시스템에 대해 생각해 보겠습니다. 교육 데이터인 고양이와 개 사진은 간단해 보입니다. 하지만 이미지 집합에는 검은 개와 흰색 또는 갈색 고양이의 사진만 있습니다. 흰색 개의 사진을 보고 AI는 고양이로 분류합니다. 실제로는 교육 데이터가 이렇게 단순한 경우가 드물지만, 실제로도 이렇게 아주 잘못된 결과가 나올 수 있고, 그 영향은 중대할 수 있습니다.
1형 및 2형 오류 비교
AI를 사용하여 대출 신청인이 대출을 상환할지 예측하는 은행을 예로 들어보겠습니다. 시스템이 신청인이 대출을 상환할 수 있다고 예측하지만 상환하지 않을 경우 위양성 또는 1형 오류입니다. 시스템이 신청인이 대출을 상환할 수 없다고 예측하지만 상환할 경우 위음성 또는 2형 오류입니다. 은행은 대출금을 상환할 것이라고 믿을 수 있는 사람들에게 대출을 허가하길 원합니다. 위험을 최소화하기 위해, 은행의 모델은 2형 오류를 더 많이 허용합니다. 그래도 위음성은 상환할 수 없을 것이라고 시스템이 잘못 판단하는 신청인에게 해가 됩니다.
연상 편향
선입견 때문에 레이블이 잘못 지정된 데이터는 연상 편향의 예시입니다. 대부분의 온라인 판매 사이트에서 ‘소녀용 장난감’을 검색하면 요리 장난감, 인형, 공주 및 분홍색의 배합이 무수히 반환됩니다. ‘소년용 장난감’을 검색하면 슈퍼히어로 액션 피규어, 건설 장난감 세트, 비디오 게임이 표시됩니다.
확증 편향
확증 편향이 있으면 기존 관념에 따라 데이터에 레이블을 지정합니다. 온라인 쇼핑을 할 때 표시되는 추천에는 쇼핑객의 구매 습관이 반영되지만, 구매에 영향을 미치는 데이터에는 애초에 사람들이 이미 보고 선택하여 구입한 상품이 이미 반영되어 있습니다. 추천 시스템이 선입견을 어떻게 강화하는지 상상할 수 있습니다. 슈퍼히어로가 웹 사이트의 ‘소녀용 장난감’ 섹션에 표시되지 않으면 쇼핑객이 이런 장난감을 사지 않음은 물론이고 사이트의 다른 곳에 이런 장난감이 있는지 조차도 모를 수 있습니다.
자동화 편향
자동화 편향은 시스템의 가치관을 타인에게 강요합니다. 2016년에 AI가 심사한 뷰티 콘테스트를 예로 들어보겠습니다. 심사 목적은 가장 아름다운 여성을 어느 정도 객관적으로 선발하는 것이었습니다. 하지만 문제의 AI는 주로 백인 여성의 이미지를 학습했으며 ‘아름다움’에 대해 이 AI가 학습한 정의에는 유색인종에게서 보다 흔하게 발견되는 특징들을 포함하지 않았습니다. AI는 학습 데이터의 편향성을 반영하여 실제 결과에 반영하였으며, 그 결과 대부분 백인을 우승자로 선택하였습니다.
자동화 편향이 AI에만 있는 것은 아닙니다. 컬러 사진의 역사를 예로 들어보겠습니다. Kodak은 1950년대 중반부터 자사 필름을 현상하는 사진 현상소를 운영하기 시작했는데, 이 때 피부색, 음영, 빛을 보정하는 데 피부가 흰 Shirley Page라는 직원의 이미지를 사용했습니다. 시간이 지나면서 다양한 모델이 사용되었지만, 이런 이미지는 ‘Shirley 카드’라는 이름으로 알려지게 되었습니다. Shirley가 누구였던 간에(그녀는 초기에 항상 백인이었음), 그녀의 피부색은 표준으로 간주되었습니다. 캐나다 소재 Concordia 대학교의 Lorna Roth 미디어학 교수가 NPR에 얘기한 것처럼 "당시에 카메라를 구입한 사람들은 대부분 백인이었습니다. 그래서 피부색이 더 다양한 사람들을 대상으로 시장을 확대할 필요성을 느끼지 못한 것 같습니다." 1970년대에 Kodak은 다양한 피부색을 사용하여 테스트하고 다인종 Shirley 카드를 만들기 시작했습니다.
사회적 편향
사회적 편향은 역사적으로 소외되었던 집단에 대한 과거의 편견으로 인한 결과를 재현합니다. 특정 경계 지역 지정을 예로 들어보겠습니다. 1930년대의 연방 주택 정책에는 특정 거주 지역의 적합도를 색으로 구분하는 내용이 있었습니다. 빨간색으로 표시된 지역은 위험 지역으로 간주되었습니다. 은행들은 종종 이런 빨간색 표시 지역에 거주하는 소수 인종에 저가 주택 대출을 거부했습니다. 특정 경계 지역 지정은 지금까지도 특정 우편 번호 지역의 인종 및 경제적 구성에 영향을 미쳐왔기 때문에 우편 번호가 인종을 대신하는 기준으로 사용될 수 있습니다. 우편 번호를 모델의 데이터 포인트로 포함시킬 경우, 이용 사례에 따라 인종이 본의 아니게 알고리즘이 결정을 내리는 요인이 될 수 있습니다. 미국에서는 여러 금융 관련 결정을 내릴 때 나이, 인종 또는 성별 같은 보호 범주를 사용해도 불법임을 기억하세요.
생존 또는 생존자 편향
알고리즘이 선택된 자나 특정 프로세스에서 생존한 자에 초점을 맞추고 제외된 자를 간과하는 경우가 있습니다. 채용 방법을 예로 들어보겠습니다. 회사의 이사를 채용하려고 하는데 특정 대학 출신을 모집해야 할지 결정하려는 경우를 예로 들어보겠습니다. 현재 고용된 직원들 중에서 해당 대학을 나온 직원들을 살펴봅니다. 하지만 해당 대학 출신이지만 채용되지 않았거나 채용되었지만 나중에 해고된 지원자들은 어떻게 될까요? ‘생존’한 자들의 성공 사례만 보입니다.
상호작용 편향
사람이 AI 시스템과 상호작용하거나 고의적으로 AI 시스템에 영향을 미치려 하고 편향된 결과를 초래하는 경우 상호작용 편향이 발생합니다. 이 편향의 예로는 사람들이 고의로 챗봇에게 나쁜 말을 가르치려고 하는 경우를 들 수 있습니다.
편향이 시스템에 어떻게 유입되나요?
제품 제작자나 교육 데이터를 통해(또는 데이터 집합에 사용되는 모든 데이터 출처에 대한 정보 부족으로 인해), 또는 AI가 배포되는 사회적 상황에서 AI 시스템에 편향이 유입될 수 있음은 이미 알고 있습니다.
추정
사람은 특정 시스템을 만들기 시작하기 전에 무엇을 만들어야 하는지, 누구를 위해 만들어야 하는지, 그리고 시스템이 어떻게 작동해야 하는지(누구한테 어떤 종류의 데이터를 수집해야 하는지 포함) 추정하는 경우가 많습니다. 그렇다고 해서 시스템 제작자에게 나쁜 의도가 있다는 뜻은 아닙니다. 하지만 사람이기 때문에 항상 다른 사람의 경험을 모두 이해하거나 특정 시스템이 타인에게 어떻게 영향을 미칠지 예측할 수 없습니다. 연구 및 디자인 프로세스에 처음부터 다양한 이해관계자와 참가자들을 포함시켜 추정이 제품에 유입되는 것을 제한하려고 할 수는 있습니다. AI 시스템 업무에 다양한 팀이 참여하도록 노력하기도 해야 합니다.
교육 데이터
AI 모델에는 교육 데이터가 필요한데, 데이터 집합을 통해 편향이 유입되기 쉽습니다. 회사가 과거부터 같은 대학 또는 프로그램 출신을 채용하거나 비슷한 성비로 채용을 해온 경우, 채용 AI 시스템도 이런 사람들이 가장 좋은 후보들이라고 학습합니다. 따라서 이런 조건에 맞지 않은 후보를 시스템이 추천하지 않습니다.
모델
AI 모델 학습에 사용하는 인종, 성별 또는 나이 같은 요인에 따라 추천 또는 예측이 이런 특성으로 정의되는 특정 집단에 불리하게 편향될 수 있습니다. 이런 특성을 대체하는 요인도 사용하지 않도록 주의해야 합니다. 예를 들어 사람의 이름이 성별, 인종 또는 출신 국가를 대체하는 요인이 될 수 있습니다. 그렇기 때문에 Einstein 제품은 이름을 리드 및 기회 점수 매기기 모델에 사용하지 않습니다.
인간 개입(또는 개입 결여)
교육 데이터를 편집하면 모델이 동작하는 방법에 직접적인 영향을 미치고, 편향이 많아지거나 없어질 수 있습니다. 질이 낮은 데이터 또는 특정 요인의 비율이 실제보다 너무 높은 데이터 포인트를 제거하거나, 레이블을 추가하거나 범주를 편집하거나, 나이와 인종 같은 특정 요인을 제외하여 데이터를 편집할 수 있습니다. 모델을 그대로 놔둘 수도 있는데, 그러면 상황에 따라 편향이 유입될 여지도 그대로 남을 수 있습니다.
AI 시스템의 이해관계자가 시스템 추천에 대해 피드백을 제시할 수 있어야 합니다. 피드백은 명시적(예: 시스템이 고객이 좋아할 수 있는 책을 추천하고 고객이 구매하지 않음)이거나 암시적(예: 추천에 대해 고객이 좋은 평가를 함)일 수 있습니다. 이 피드백을 통해 모델은 같은 추천을 더 많이 해야 하는지 더 적게 해야 하는지 학습합니다. GDPR에 따르면, EU 시민은 회사가 자신에 대해 갖고 있는 잘못된 정보를 수정하고 회사에 자신의 데이터를 삭제해 달라고 요청할 수도 있어야 합니다. 이 규정은 법적 요건이 아니지만, AI가 정확한 데이터에 따라 추천하도록 하고 고객 신뢰를 보장하는 최선의 방법입니다.
편향을 증폭할 수 있는 AI
편향된 데이터 집합을 사용해 AI 모델을 훈련하면 편향이 종종 증폭됩니다. 사진 데이터 집합의 요리에 관한 사진에 여성이 남성보다 33퍼센트 더 많았지만 알고리즘이 이 편향을 68퍼센트로 증폭한 사례도 있었습니다. 자세히 알아보려면 리소스 섹션에 있는 블로그 포스트를 참조하세요.
리소스
- Trailhead: 인공 지능 기초
- 블로그 게시물: AI 시대에 성공을 앞당기는 방법
- 블로그 포스트: 우리의 편향을 학습할 뿐만 아니라 증폭하는 AI(영문)
- 도움말: Einstein 생성형 AI 용어집
