Reconhecer o enviesamento na inteligência artificial

Objetivos de aprendizagem

Após concluir esta unidade, você estará apto a:

  • Compreender a diferença entre o que é ético e o que é legal.
  • Identificar tipos de enviesamento que podem entrar em um sistema de IA.
  • Encontrar pontos para a entrada de viés em um sistema de IA.

A ética está alinhada com as leis. Às vezes, no entanto, precisamos pensar para além da lei para desenvolver uma tecnologia ética. Por exemplo, a lei federal dos EUA protege certas características que geralmente não podemos usar em decisões envolvendo contratação, promoção, moradia, empréstimo ou saúde. Essas classes protegidas incluem sexo, raça, idade, deficiência, cor, nacionalidade, religião ou credo e informação genética. Se os seus modelos de IA usam essas características, você pode estar infringindo a lei. Se o seu modelo de IA está tomando uma decisão onde é legal confiar nessas características, ainda pode não ser ético permitir esses tipos de enviesamento. As questões relacionadas a classes protegidas também podem passar para o domínio da privacidade e da legalidade. Portanto, recomendamos concluir nossa trilha do Regulamento Geral sobre a Proteção de Dados (RGPD) para saber mais. Finalmente, também é importante estar ciente das maneiras pelas quais o Salesforce Einstein pode e não pode ser usado de acordo com nossa Política de uso aceitável.

A boa notícia é que a IA apresenta uma oportunidade de abordar sistematicamente o enviesamento. Historicamente, se você reconhecesse que a tomada de decisão da sua empresa teve um resultado enviesado como consequência de uma tomada de decisão individual, era difícil redesenhar todo o processo e superar esse enviesamento intrínseco. Agora, com os sistemas de IA, temos a chance de agregar justiça ao design e melhorar as práticas existentes.

Além de examinar cuidadosamente as implicações legais e éticas de seus modelos de IA, você deve avaliar se o seu modelo está alinhado com a responsabilidade da sua empresa de respeitar e promover os direitos humanos. Você deve levar em conta a legislação internacional de direitos humanos e as responsabilidades que a ONU estabeleceu para que as empresas respeitem os direitos humanos, que incluem um devido processo legal para avaliar os impactos nos direitos humanos, agir diante da avaliação e comunicar como os impactos são tratados. 

Tipos de viés a serem observados

O enviesamento se manifesta de várias formas. Às vezes, é o resultado de um erro sistemático. Outras vezes, é o resultado de preconceito social. E, às vezes, a distinção é confusa. Com essas duas fontes de enviesamento em mente, vamos olhar para as maneiras como o enviesamento pode entrar em um sistema IA. 

Viés de medição ou do conjunto de dados

Quando os dados são rotulados ou categorizados incorretamente, ou simplificados demais, isso resulta em viés de medição. O viés de medição pode ser introduzido quando uma pessoa comete um erro ao rotular dados, ou através de erro de máquina. Uma característica, fator ou grupo pode estar super ou sub-representado no conjunto de dados. 

Vamos considerar um exemplo inofensivo: um sistema de reconhecimento de imagem para cães e gatos. Os dados de treinamento parecem suficientemente simples: fotos de gatos e cães. Mas o conjunto de imagens inclui apenas fotos de cães pretos e gatos brancos ou marrons. Confrontada com uma foto de um cão branco, a IA classifica-o como um gato. Embora os dados de treinamento do mundo real sejam raramente tão restritos e enxutos, os resultados podem ser tão surpreendentemente errados, com grandes consequências. 

Ilustração de dados de treinamento com fotos de seis cães pretos, quatro gatos brancos e dois gatos marrons alimentados em um algoritmo de aprendizado para um modelo preditivo. O modelo categoriza o cão branco como um "gato" com pontuação de confiança de 0,96.

Erro Tipo 1 vs. erro Tipo 2

Pense em um banco usando IA para prever se um candidato irá reembolsar um empréstimo. Se o sistema prevê que o candidato será capaz de reembolsar o empréstimo, mas não o faz, é um falso positivo ou erro Tipo 1. Se o sistema prevê que o candidato não será capaz de reembolsar o empréstimo, mas o faz, é um falso negativo ou erro Tipo 2. Os bancos querem conceder empréstimos a pessoas que eles acreditam que podem reembolsá-los. Para minimizar o risco, o seu modelo está inclinado para os erros Tipo 2. Mesmo assim, os falsos negativos prejudicam os candidatos que o sistema considera incorretamente incapazes de reembolsar. 

Um balanço com um lado representando empréstimos que são de baixo risco para o banco e o outro lado representando empréstimos de alto risco, inclinando-se para alto risco.

Viés de associação

Quando os dados são rotulados de acordo com estereótipos, resulta em viés de associação. Pesquise na maioria dos varejistas online por "brinquedos para meninas" e você obtém uma variedade infinita de brinquedos de cozinha, bonecas, princesas e rosa. Pesquise "brinquedos para meninos", e você verá bonecos de super-heróis, conjuntos de construção e videogames. 

Viés de confirmação 

O viés de confirmação rotula os dados com base em ideias preconcebidas. As recomendações que vemos quando compramos on-line refletem nossos hábitos de compra, mas os dados que influenciam essas compras já refletem o que as pessoas veem e optam por comprar em primeiro lugar. Você pode ver como os sistemas de recomendação reforçam os estereótipos. Se os super-heróis não aparecem na seção "brinquedos para meninas" de um site, é improvável que um comprador saiba que eles estão em outro lugar no site, muito menos que compre-os.

Viés de automação 

O viés de automação impõe os valores de um sistema a outros. Por exemplo, um concurso de beleza julgado pela IA em 2016. O objetivo era declarar as mulheres mais bonitas com alguma noção de objetividade. Mas a IA em questão, julgada pelos padrões de beleza ocidentais, enfatiza a brancura. No final, a grande maioria dos vencedores era branca. 

O viés da automação não se limita à IA. Veja o exemplo da fotografia colorida. A partir de meados dos anos 50, a Kodak ofereceu aos laboratórios fotográficos que desenvolveram seu filme a imagem de uma funcionária de pele clara chamada Shirley Page, que foi usada para calibrar tons de pele, sombras e luz. Enquanto modelos diferentes foram usados ao longo do tempo, as imagens ficaram conhecidas como "cartões Shirley". O tom de pele de Shirley, independentemente de quem ela fosse (e era inicialmente sempre branca) era considerado padrão. Como Lorna Roth, professora de mídia da Universidade Concordia do Canadá, disse à NPR, quando os cartões foram criados, "as pessoas que compravam câmeras eram em sua maioria caucasianas. Portanto, acho que eles não viram a necessidade do mercado se expandir para uma gama mais ampla de tons de pele”. Na década de 70, eles começaram a testar em uma variedade de tons de pele e fizeram cartões Shirley multirraciais.

Viés social 

O viés social reproduz os resultados do preconceito passado em relação a grupos historicamente marginalizados. Vejamos o "redlining". Na década de 30, uma política federal de habitação codificava determinados bairros por cor em termos de conveniência. Os bairros marcados em vermelho foram considerados perigosos. Os bancos frequentemente negavam acesso a empréstimos residenciais de baixo custo para grupos minoritários residentes nesses bairros marcados em vermelho. Até hoje, o "redlining" tem influenciado a composição racial e econômica de certos códigos postais de modo que os códigos postais podem ser uma indireta para a raça. Se você incluir códigos postais como um ponto de dados no seu modelo, dependendo do caso de uso, você pode inadvertidamente estar incorporando a raça como um fator na tomada de decisão do seu algoritmo. Lembre-se que também é ilegal nos EUA usar categorias protegidas como idade, raça ou sexo na tomada de muitas das decisões financeiras. 

Viés de sobrevivência

Por vezes, um algoritmo foca-se nos resultados daqueles que foram selecionados, ou que sobreviveram a um determinado processo, à custa daqueles que foram excluídos. Vamos dar uma olhada nas práticas de contratação. Imagine que você é o diretor de contratação de uma empresa, e quer descobrir se deve recrutar pessoas de uma universidade específica. Você olha para os empregados atuais contratados na universidade. Mas e quanto aos candidatos que não foram contratados naquela universidade, ou que foram contratados e posteriormente abandonados? Você só vê o sucesso daqueles que "sobreviveram". 

Infográfico representando viés de sobrevivência no recrutamento universitário. Candidatos de três universidades conseguem passar pelo primeiro funil, e apenas os candidatos que não saíram da empresa conseguem passar pelo segundo. O grupo final não é representativo dos estudantes dessas três universidades.

Viés de interação

Os humanos criam viés de interação quando interagem com sistemas de IA ou intencionalmente tentam influenciá-los e criar resultados enviesados. Um exemplo disso é quando as pessoas intencionalmente tentam ensinar chatbots palavrões. 

Como o enviesamento entra no sistema?

Você sabe que o enviesamento pode entrar em um sistema de AI através dos criadores de um produto, através de dados de treinamento (ou falta de informação sobre todas as fontes que contribuem para um conjunto de dados), ou a partir do contexto social em que uma IA é implantada.

Suposições

Antes começarmos a criar um determinado sistema, geralmente fazemos suposições sobre o que devemos criar, para quem devemos criá-lo e como isso deve funcionar, incluindo que tipo de dados coletar de quem. Isso não significa que como criadores de um sistema temos más intenções, mas como humanos, nem sempre podemos entender as experiências de todos os outros ou prever como um determinado sistema irá impactar os outros. Podemos tentar limitar, desde o início, nossas próprias suposições de entrar em um produto, incluindo diversas partes interessadas e participantes em nossos processos de pesquisa e design desde o início. Devemos também nos esforçar para ter equipes diversificadas trabalhando em sistemas de IA. Confira a trilha O valor da igualdade para os negócios para saber mais sobre as vantagens de contratar equipes diversas.

Dados de treinamento

Modelos de IA precisam de dados de treinamento, e é fácil introduzir enviesamento com o conjunto de dados. Se uma empresa tem um histórico de contratação sempre nas mesmas universidades, nos mesmos programas, ou ao longo das mesmas linhas de gênero, um sistema de IA de contratação vai aprender que esses são os melhores candidatos. O sistema não recomenda candidatos que não correspondam a esses critérios.

Modelo

Ao criar um modelo de aprendizado de máquina, os fatores usados no modelo, como raça, sexo ou idade, podem resultar em recomendações ou previsões tendenciosas em relação a determinados grupos definidos por essas características. Você também precisa estar atento aos fatores que funcionam como agentes para essas características. O nome de alguém, por exemplo, pode ser um substituto para sexo, raça ou país de origem. Por este motivo, o Salesforce Einstein não usa nomes como fatores em seu modelo Pontuação de leads e oportunidades.

Pontuação de lead e oportunidades do Einstein for Sales. Uma caixa de diálogo avisa que "O CEP tem uma alta correlação com a Raça e pode estar adicionando viés ao modelo preditivo desta história".

Intervenção humana (ou falta dela)

A edição de dados de treinamento tem um impacto direto sobre o comportamento do modelo e pode adicionar ou remover viés. Podemos remover dados de baixa qualidade ou pontos de dados excessivamente representados, adicionar rótulos ou editar categorias ou excluir fatores específicos, como idade e raça. Também podemos deixar o modelo como está, o que, dependendo das circunstâncias, pode deixar margem para vieses.

As partes interessadas em um sistema de IA devem ter a opção de dar feedback sobre suas recomendações. Isso pode ser implícito (digamos, o sistema recomenda um livro que o cliente pode gostar e o cliente não o compra) ou explícito (digamos, o cliente curte uma recomendação). Esse feedback treina o modelo para fazer mais ou menos do que ele acabou de fazer. De acordo com o RGPD, os cidadãos da UE devem também poder corrigir informações incorretas que uma empresa tenha sobre eles e pedir a essa empresa que elimine os seus dados. Mesmo que não seja exigido por lei, esta é a melhor prática, pois garante que a sua IA está fazendo recomendações com base em dados precisos e está garantindo a confiança do cliente.

IA pode ampliar o enviesamento

O aprendizado de máquina baseado em conjuntos de dados enviesados amplifica frequentemente esses vieses. Em um exemplo, um conjunto de dados fotográficos tinha 33 por cento mais mulheres do que homens em fotos envolvendo cozinha, mas o algoritmo amplificou esse enviesamento para 68 por cento. Para saber mais, veja a publicação do blog na seção de recursos.

Recursos