Reconhecer o enviesamento na inteligência artificial
Objetivos de aprendizagem
Após concluir esta unidade, você estará apto a:
- Descrever o papel dos dados no desenvolvimento de um sistema de IA.
- Compreender a diferença entre o que é ético e o que é legal.
- Identificar tipos de enviesamento que podem entrar em um sistema de IA.
- Encontrar pontos para a entrada de viés em um sistema de IA.
Foco na inteligência artificial
A inteligência artificial pode aumentar a inteligência humana, ampliar as capacidades humanas e fornecer insights acionáveis que geram melhores resultados para nossos funcionários, clientes, parceiros e comunidades.
Acreditamos que os benefícios da IA devem ser acessíveis a todos, não apenas aos criadores. Não é suficiente oferecer apenas a capacidade tecnológica da IA. Também temos uma responsabilidade importante de garantir que nossos clientes possam usar nossa IA de maneira segura e inclusiva para todos. Levamos essa responsabilidade a sério e estamos comprometidos em fornecer aos nossos funcionários, clientes, parceiros e comunidade as ferramentas necessárias para desenvolver e usar a IA de forma segura, precisa e ética.
Conforme você aprende no emblema Noções básicas de inteligência artificial, IA é um termo genérico que se refere a esforços para ensinar computadores a realizar tarefas complexas e se comportar de maneira a dar a aparência de atividade humana. O treinamento para tal tarefa geralmente requer grandes quantidades de dados, permitindo que o computador aprenda padrões nos dados. Esses padrões formam um modelo que representa um sistema complexo, assim como é possível criar um modelo do nosso sistema solar. E com um bom modelo, você pode fazer boas previsões (por exemplo, prever o próximo eclipse solar) ou gerar conteúdo (por exemplo, escrever para mim um poema feito por um pirata).
Nem sempre sabemos porque é que um modelo está fazendo uma previsão específica ou gerando conteúdo de determinada forma. Frank Pasquale, autor de The Black Box Society, descreve esta falta de transparência como o fenômeno da caixa negra. Enquanto as empresas que criam IA podem explicar os processos por trás de seus sistemas, é mais difícil para elas dizer o que está acontecendo em tempo real e em que ordem, incluindo onde o enviesamento pode estar presente no modelo. A IA apresenta desafios únicos quando se trata de enviesamento e de tomar decisões justas.
O que é ético vs. legal?
Todas as sociedades têm leis que os cidadãos precisam cumprir. Às vezes, no entanto, precisamos pensar para além da lei para desenvolver uma tecnologia ética. Por exemplo, a lei federal dos EUA protege certas características que geralmente não podemos usar em decisões envolvendo contratação, promoção, moradia, empréstimo ou saúde. Essas classes protegidas incluem sexo, raça, idade, deficiência, cor, nacionalidade, religião ou credo e informação genética. Se os seus modelos de IA usam essas características, você pode estar infringindo a lei. Se o seu modelo de IA está tomando uma decisão onde é legal confiar nessas características, ainda pode não ser ético permitir esses tipos de enviesamento. As questões relacionadas a classes protegidas também podem passar para o domínio da privacidade e da legalidade. Portanto, recomendamos concluir nossa trilha do Regulamento Geral sobre a Proteção de Dados (RGPD) para saber mais. Finalmente, também é importante estar ciente das maneiras pelas quais os produtos Einstein podem e não podem ser usados de acordo com nossa Política de uso aceitável.
A boa notícia é que a IA apresenta uma oportunidade de abordar sistematicamente o enviesamento. Historicamente, se você reconhecesse que a tomada de decisão da sua empresa teve um resultado enviesado como consequência de uma tomada de decisão individual, era difícil redesenhar todo o processo e superar esse enviesamento intrínseco. Agora, com os sistemas de IA, temos a chance de agregar justiça ao design e melhorar as práticas existentes.
Além de examinar cuidadosamente as implicações legais e éticas de seus modelos de IA, você deve avaliar se o seu modelo está alinhado com a responsabilidade da sua empresa de respeitar e promover os direitos humanos. Você deve levar em conta a legislação internacional de direitos humanos e as responsabilidades que a ONU estabeleceu para que as empresas respeitem os direitos humanos, que incluem um devido processo legal para avaliar os impactos nos direitos humanos, agir diante da avaliação e comunicar como os impactos são tratados.
Tipos de viés a serem observados
O enviesamento se manifesta de várias formas. Às vezes, é o resultado de um erro sistemático. Outras vezes, é o resultado de preconceito social. E, às vezes, a distinção é confusa. Com essas duas fontes de enviesamento em mente, vamos olhar para as maneiras como o enviesamento pode entrar em um sistema IA.
Viés de medição ou do conjunto de dados
Quando os dados são rotulados ou categorizados incorretamente, ou simplificados demais, isso resulta em viés de medição. O viés de medição pode ser introduzido quando uma pessoa comete um erro ao rotular dados, ou através de erro de máquina. Uma característica, fator ou grupo pode estar super ou sub-representado no conjunto de dados.
Vamos considerar um exemplo inofensivo: um sistema de reconhecimento de imagem para cães e gatos. Os dados de treinamento parecem suficientemente simples: fotos de gatos e cães. Mas o conjunto de imagens inclui apenas fotos de cães pretos e gatos brancos ou marrons. Confrontada com uma foto de um cão branco, a IA classifica-o como um gato. Embora os dados de treinamento do mundo real sejam raramente tão restritos e enxutos, os resultados podem ser tão surpreendentemente errados, com grandes consequências.
Erro Tipo 1 vs. erro Tipo 2
Pense em um banco usando IA para prever se um candidato irá reembolsar um empréstimo. Se o sistema prevê que o candidato será capaz de reembolsar o empréstimo, mas não o faz, é um falso positivo ou erro Tipo 1. Se o sistema prevê que o candidato não será capaz de reembolsar o empréstimo, mas o faz, é um falso negativo ou erro Tipo 2. Os bancos querem conceder empréstimos a pessoas que eles acreditam que podem reembolsá-los. Para minimizar o risco, o seu modelo está inclinado para os erros Tipo 2. Mesmo assim, os falsos negativos prejudicam os candidatos que o sistema considera incorretamente incapazes de reembolsar.
Viés de associação
Dados rotulados de acordo com estereótipos são um exemplo de viés de associação. Pesquise na maioria dos varejistas online por "brinquedos para meninas" e você obtém uma variedade infinita de brinquedos de cozinha, bonecas, princesas e rosa. Pesquise "brinquedos para meninos", e você verá bonecos de super-heróis, conjuntos de construção e videogames.
Viés de confirmação
O viés de confirmação rotula os dados com base em ideias preconcebidas. As recomendações que vemos quando compramos on-line refletem nossos hábitos de compra, mas os dados que influenciam essas compras já refletem o que as pessoas veem e optam por comprar em primeiro lugar. Você pode ver como os sistemas de recomendação reforçam os estereótipos. Se os super-heróis não aparecem na seção "brinquedos para meninas" de um site, é improvável que um comprador saiba que eles estão em outro lugar no site, muito menos que compre-os.
Viés de automação
O viés de automação impõe os valores de um sistema a outros. Vamos usar, por exemplo, um concurso de beleza julgado pela IA em 2016. O objetivo era declarar as mulheres mais bonitas com alguma noção de objetividade. Mas a IA em questão foi treinada principalmente com imagens de mulheres brancas e sua definição aprendida de “beleza” não incluía características mais comuns em pessoas de cor. Como resultado, a IA escolheu essencialmente vencedoras brancas, traduzindo um preconceito nos dados de treinamento para os resultados do mundo real.
O viés da automação não se limita à IA. Veja o exemplo da fotografia colorida. A partir de meados dos anos 50, a Kodak ofereceu aos laboratórios fotográficos que desenvolveram seu filme a imagem de uma funcionária de pele clara chamada Shirley Page, que foi usada para calibrar tons de pele, sombras e luz. Enquanto modelos diferentes foram usados ao longo do tempo, as imagens ficaram conhecidas como "cartões Shirley". O tom de pele de Shirley, independentemente de quem ela fosse (e era inicialmente sempre branca) era considerado padrão. Como Lorna Roth, professora de mídia da Universidade Concordia do Canadá, disse à NPR, quando os cartões foram criados, "as pessoas que compravam câmeras eram em sua maioria caucasianas. Portanto, acho que eles não viram a necessidade do mercado se expandir para uma gama mais ampla de tons de pele”. Na década de 70, eles começaram a testar em uma variedade de tons de pele e fizeram cartões Shirley multirraciais.
Viés social
O viés social reproduz os resultados do preconceito passado em relação a grupos historicamente marginalizados. Vejamos o "redlining". Na década de 30, uma política federal de habitação codificava determinados bairros por cor em termos de conveniência. Os bairros marcados em vermelho foram considerados perigosos. Os bancos frequentemente negavam acesso a empréstimos residenciais de baixo custo para grupos minoritários residentes nesses bairros marcados em vermelho. Até hoje, o "redlining" tem influenciado a composição racial e econômica de certos códigos postais de modo que os códigos postais podem ser uma indireta para a raça. Se você incluir códigos postais como um ponto de dados no seu modelo, dependendo do caso de uso, você pode inadvertidamente estar incorporando a raça como um fator na tomada de decisão do seu algoritmo. Lembre-se que também é ilegal nos EUA usar categorias protegidas como idade, raça ou sexo na tomada de muitas das decisões financeiras.
Viés de sobrevivência
Por vezes, um algoritmo foca-se nos resultados daqueles que foram selecionados, ou que sobreviveram a um determinado processo, à custa daqueles que foram excluídos. Vamos dar uma olhada nas práticas de contratação. Imagine que você é o diretor de contratação de uma empresa, e quer descobrir se deve recrutar pessoas de uma universidade específica. Você olha para os empregados atuais contratados na universidade. Mas e quanto aos candidatos que não foram contratados naquela universidade, ou que foram contratados e posteriormente abandonados? Você só vê o sucesso daqueles que "sobreviveram".
Viés de interação
Os humanos criam viés de interação quando interagem com sistemas de IA ou intencionalmente tentam influenciá-los e criar resultados enviesados. Um exemplo disso é quando as pessoas intencionalmente tentam ensinar chatbots palavrões.
Como o enviesamento entra no sistema?
Você sabe que o enviesamento pode entrar em um sistema de AI através dos criadores de um produto, através de dados de treinamento (ou falta de informação sobre todas as fontes que contribuem para um conjunto de dados), ou a partir do contexto social em que uma IA é implantada.
Suposições
Antes começarmos a criar um determinado sistema, geralmente fazemos suposições sobre o que devemos criar, para quem devemos criá-lo e como isso deve funcionar, incluindo que tipo de dados coletar e de quem coletá-los. Isso não significa que como criadores de um sistema temos más intenções, mas como humanos, nem sempre podemos entender as experiências de todos os outros ou prever como um determinado sistema irá impactar os outros. Podemos tentar limitar, desde o início, nossas próprias suposições de entrar em um produto, incluindo diversas partes interessadas e participantes em nossos processos de pesquisa e design desde o início. Devemos também nos esforçar para ter equipes diversificadas trabalhando em sistemas de IA.
Dados de treinamento
Modelos de IA precisam de dados de treinamento, e é fácil introduzir enviesamento com o conjunto de dados. Se uma empresa tem um histórico de contratação sempre nas mesmas universidades, nos mesmos programas, ou ao longo das mesmas linhas de gênero, um sistema de IA de contratação vai aprender que esses são os melhores candidatos. O sistema não recomenda candidatos que não correspondam a esses critérios.
Modelo
Os fatores que você usa para treinar um modelo de IA, como raça, sexo ou idade, podem resultar em recomendações ou previsões tendenciosas contra determinados grupos definidos por essas características. Você também precisa estar atento aos fatores que funcionam como agentes para essas características. O nome de alguém, por exemplo, pode ser um substituto para sexo, raça ou país de origem. Por este motivo, os produtos Einstein não usam nomes como fatores em seu modelo Pontuação de leads e oportunidades.
Intervenção humana (ou falta dela)
A edição de dados de treinamento tem um impacto direto sobre o comportamento do modelo e pode adicionar ou remover viés. Podemos remover dados de baixa qualidade ou pontos de dados excessivamente representados, adicionar rótulos ou editar categorias ou excluir fatores específicos, como idade e raça. Também podemos deixar o modelo como está, o que, dependendo das circunstâncias, pode deixar margem para vieses.
As partes interessadas em um sistema de IA devem ter a opção de dar feedback sobre suas recomendações. Isso pode ser implícito (digamos, o sistema recomenda um livro que o cliente pode gostar e o cliente não o compra) ou explícito (digamos, o cliente curte uma recomendação). Esse feedback treina o modelo para fazer mais ou menos do que ele acabou de fazer. De acordo com o RGPD, os cidadãos da UE devem também poder corrigir informações incorretas que uma empresa tenha sobre eles e pedir a essa empresa que elimine os seus dados. Mesmo que não seja exigido por lei, esta é a melhor prática, pois garante que a sua IA está fazendo recomendações com base em dados precisos e está garantindo a confiança do cliente.
IA pode ampliar o enviesamento
O treinamento de modelos de IA com base em conjuntos de dados tendenciosos geralmente amplifica essas tendências. Em um exemplo, um conjunto de dados fotográficos tinha 33 por cento mais mulheres do que homens em fotos envolvendo cozinha, mas o algoritmo amplificou esse enviesamento para 68 por cento. Para saber mais, veja a publicação do blog na seção de recursos.