Compreender o uso ético da tecnologia

Objetivos de aprendizagem

Após concluir esta unidade, você estará apto a:

• Definir enviesamento e justiça.
• Formar uma equipe diversificada para evitar enviesamento e lacunas.
• Converter valores da empresa em processos.
• Descrever a importância de compreender seus clientes para um design eticamente alinhado.

Design e desenvolvimento de tecnologia responsável

Estamos apenas começando a entender como a tecnologia emergente impacta a sociedade. Diversas questões têm surgido, desde questões sobre a substituição de empregos por automação até a especulação sobre os efeitos desenvolvimentistas das mídias sociais.  

Muitas indústrias são regidas por normas, protocolos e regulamentos destinados a garantir que seus produtos tenham um impacto positivo na sociedade. Os médicos, por exemplo, seguem o Juramento de Hipócrates, tendo estabelecido comissões de revisão de pesquisas para garantir práticas éticas. A indústria automobilística está sujeita às leis de condução e às normas de segurança em torno dos cintos de segurança e airbags. De um modo mais geral, em 2011, as Nações Unidas aprovaram os Princípios Orientadores para Empresas e Direitos Humanos, que definem as responsabilidades que as empresas e os Estados têm de proteger os direitos e liberdades concedidos a todos os indivíduos.

Na Salesforce, entendemos que temos uma responsabilidade mais ampla para com a sociedade e aspiramos criar tecnologia que não apenas impulsione o sucesso de nossos clientes, mas também impulsione mudanças sociais positivas e beneficie a humanidade. A Salesforce estabeleceu o Office of Ethical and Humane Use para percorrer um caminho na Quarta Revolução Industrial, ajudando nossos clientes a usar nossa tecnologia para causar um impacto positivo. Este esforço está ancorado nos valores fundamentais da Salesforce (confiança, sucesso do cliente, inovação, igualdade e sustentabilidade).

Quando se trata de ética tecnológica, as questões nunca foram tão urgentes, e cabe a todos nós encontrar as soluções.

O que significa estar enviesado ou ser justo?

Quando você cria ou usa tecnologia, especialmente envolvendo inteligência artificial ou automação, é importante fazer a si mesmo perguntas de enviesamento e justiça.

Na Salesforce, vemos viés como "erros sistemáticos e repetíveis em um sistema de computação que criam resultados injustos, de maneiras diferentes da função pretendida para o sistema, devido a premissas incorretas no processo de aprendizagem de máquina". No contexto das estatísticas, o enviesamento é o desvio sistemático da verdade ou erro. Do ponto de vista social e jurídico, a pesquisadora e professora Kate Crawford define viés como o "julgamento baseado em noções ou preconceitos preconcebidos, em oposição à avaliação imparcial dos fatos". 

A justiça é definida como uma decisão tomada sem interesse próprio, preconceito ou favoritismo. Na realidade, é quase impossível uma decisão ser perfeitamente justa. Um painel na Conferência sobre Justiça, Responsabilidade e Transparência da Association for Computing Machinery, em 2018, desenvolveu uma lista de mais de 21 definições de justiça. Se há tantas maneiras de pensar sobre justiça, como você pode dizer se os seres humanos ou as máquinas estão tomando decisões justas? 

Para tomar uma decisão mais informada, é fundamental compreender o impacto dessa decisão. Uma decisão que beneficia o maior número possível de pessoas continua a excluir uma minoria, o que é injusto se essa minoria for frequentemente ignorada. Devemos nos perguntar: Alguns indivíduos ou grupos são desproporcionalmente afetados por uma decisão? O enviesamento sistêmico em decisões anteriores ou dados imprecisos tornam alguns grupos menos propensos a receber uma avaliação justa ou imparcial? Se a resposta for sim, então devemos decidir se, e como, vamos otimizar para proteger esses indivíduos, mesmo que isso não beneficie a maioria.

Existe algo parecido com viés “bom”?

Alguns podem argumentar que nem todos os vieses são ruins. Por exemplo, digamos que uma empresa farmacêutica fabrique um remédio contra o câncer de próstata e tenham como alvo apenas homens em suas campanhas de marketing. A empresa acredita que a segmentação de sua campanha de marketing é um exemplo de um bom viés porque está oferecendo um serviço sem incomodar o público feminino com anúncios irrelevantes. Porém, se o conjunto de dados da empresa incluísse apenas pessoas cisgênero, ou falhasse em reconhecer identidades adicionais (ou seja, gênero não binário, mulheres transgêneros, homens transgêneros e indivíduos agêneros), então provavelmente excluiriam outras pessoas que se beneficiariam com a visualização do anúncio. Ao incorporar uma compreensão mais complexa e precisa de gênero e identidade de gênero, a empresa estaria melhor preparada para alcançar todos aqueles que pudessem se beneficiar do medicamento.

Criar uma cultura ética

A maioria das empresas não tem a intenção de ofender ou prejudicar as pessoas. Mas podem fazê-lo de maneira não intencional se não definirem seus valores centrais e implementarem processos para garantir que todos na empresa estejam trabalhando de acordo com eles. Ao definir valores, processos e incentivos, os líderes podem influenciar a cultura de suas empresas. Os líderes podem e devem ensinar aos alunos e funcionários como aplicar a ética em seu trabalho, mas se a cultura da empresa não é saudável, é como plantar uma árvore saudável em um pomar degradado. Até mesmo a árvore saudável acaba por produzir maçãs podres. Os líderes devem recompensar o comportamento ético enquanto detectam e impedem o comportamento antiético. 

É importante lembrar que somos todos líderes nesta questão. Você pode fazer a diferença ao introduzir e manter uma cultura ética com uma abordagem de ponta a ponta. 

1. Forme equipes diversas.
2. Converta valores em processos.
3. Entenda seus clientes.

Formar equipes diversas

A pesquisa mostra que equipes diversas (em todo o espectro de experiência, raça, gênero e habilidade) são mais criativas, diligentes e trabalhadoras. Uma organização que inclui mais mulheres em todos os níveis, especialmente na alta direção, geralmente tem lucros mais altos. Para saber mais, confira a seção Recursos no final desta unidade. 

Tudo o que criamos representa os nossos valores, experiências e enviesamento. Por exemplo, os sistemas de reconhecimento facial muitas vezes têm mais dificuldade em identificar rostos negros ou morenos do que rostos brancos. Se as equipes que criaram essa tecnologia tivessem sido mais diversificadas, teriam sido mais propensas a reconhecer e lidar com esse enviesamento. 

As equipes de desenvolvimento devem buscar a diversidade em todas as áreas, desde idade e raça até cultura, educação e habilidade. A falta de diversidade pode criar uma câmara de eco que resulta em produtos enviesados e lacunas de recursos. Se você não conseguir contratar uma equipe diversificada, considere buscar feedback de grupos sub-representados em toda a sua empresa e base de usuários.

O senso de comunidade também faz parte da base ética de uma empresa. Ninguém deve ser o único responsável por agir de forma ética ou promover a ética. Em vez disso, a empresa como um todo deve estar atenta e consciente da ética. Os funcionários devem se sentir confortáveis desafiando o status quo e falando, o que pode identificar riscos para o seu negócio. Os membros da equipe devem fazer perguntas éticas específicas a seus domínios, tais como: 

• Gerentes de produto: Qual é o impacto comercial de um falso positivo ou falso negativo no nosso algoritmo?
• Pesquisadores: Quem é impactado pelo nosso sistema e como? Como o produto pode ser usado inadequadamente? Como as pessoas podem tentar quebrar o produto ou usá-lo de forma não intencional? Qual é o contexto social em que o produto é usado?
• Designers: Quais são as predefinições ou suposições que estou incorporando no produto? Estou desenvolvendo este produto para a transparência e a igualdade?
• Cientistas de dados: Quais são as implicações para os usuários quando eu otimizo meu modelo desta forma?
• Escritores de conteúdo: Posso explicar por que o sistema fez uma previsão, recomendação ou decisão em termos que o usuário pode entender?
• Engenheiros: Quais notificações, processos, verificações ou failsafes podemos incorporar ao sistema para mitigar danos?

Note que estas questões envolvem as perspectivas de várias funções. Envolver as partes interessadas e os membros da equipe em todos os estágios do ciclo de vida de desenvolvimento do produto ajuda a corrigir o impacto das desigualdades sociais sistêmicas em seu sistema. Se você faz parte de uma equipe que não tem alguma dessas funções, ou na qual você desempenha várias funções, você pode precisar rebolar para garantir que cada uma dessas perspectivas seja incluída; e isso pode envolver a procura de experiência ou aconselhamento externo. Quando os funcionários estão insatisfeitos com as respostas que recebem, deve haver um processo claro para resolver as áreas problemáticas, como um quadro de revisão. Entraremos em mais detalhes sobre isso mais tarde. 

Converter valores em processos

Quase todas as organizações têm um conjunto de valores concebidos para orientar a tomada de decisão dos seus colaboradores. Há três formas de colocar isso em prática.

1. Estruturas de incentivo
2. Recursos
3. Documentação e comunicação

Estruturas de incentivo

As estruturas de incentivo recompensam os indivíduos por comportamentos específicos ou pelo alcance de metas específicas. As estruturas de incentivos devem ser informadas por valores organizacionais. Na maioria das vezes, os funcionários são recompensados com base em vendas, aquisição de clientes e engajamento dos usuários. Essas métricas podem, às vezes, ir contra a tomada de decisão ética. 

Se uma organização deseja recompensar comportamentos alinhados com seus valores, as possíveis estruturas de incentivo podem incluir recompensas éticas. Da mesma forma que as recompensas por erros, as recompensas éticas recompensam os funcionários quando eles identificam decisões, processos ou características que são contrárias aos valores da empresa ou causam danos a outras pessoas, ou recompensam representantes de vendas que compartilham preocupações sobre negócios com clientes e evitam potenciais riscos legais ou de relações públicas.

Você também pode incluir perguntas sobre desenvolvimento de tecnologia ética em seu processo de contratação. Isso define a expectativa dos novos funcionários de que a cultura ética que você está construindo é importante para a empresa e que o pensamento e o comportamento éticos sejam recompensados.

Apoio ao funcionário 

As organizações responsáveis fornecem recursos para apoiar os funcionários e capacitá-los a tomar decisões alinhadas com os valores da empresa. Isso pode incluir a educação dos funcionários (o Trailhead é um ótimo recurso para isso) e conselhos de revisão para resolver questões difíceis e garantir que os funcionários estejam seguindo as diretrizes. 

Na Salesforce, temos um conselho de revisão de ciência de dados, que fornece feedback sobre a qualidade e as considerações éticas de nossos modelos de IA, dados de treinamento e aplicativos que os utilizam. 

Embora a construção de uma cultura ética permita que os funcionários falem quando tiverem preocupações éticas, você também pode considerar a criação de um processo claro e anônimo para que os funcionários apresentem suas preocupações. Finalmente, as listas de verificação são ótimos recursos para provocar discussões e garantir que você não negligencie preocupações importantes. As listas de verificação, embora consistentes e fáceis de implementar, raramente são exaustivas e devem ser claras e práticas para serem úteis. Como elas permitem que os funcionários tenham conversas difíceis, as listas de verificação ajudam sua empresa a construir uma cultura ética desde o início. 

Documentação e comunicação

Documente a tomada de decisão para maior transparência e consistência. Se uma equipe estiver em uma encruzilhada ética, documentar o que foi decidido e por quê permite que equipes futuras aprendam com essa experiência e ajam de forma consistente ao invés de arbitrariamente. A documentação e a comunicação também dão aos seus funcionários e partes interessadas confiança no seu processo e nas decisões resultantes.

Entender seus clientes

Deve ser óbvio que você precisa entender todos os seus clientes. Se você não fizer isso, pode estar desenvolvendo produtos que ignoram uma parte de sua base de usuários ou prejudicar alguns usuários sem você ter a menor ideia disso. Pergunte a si mesmo, de quem você supôs necessidades e valores em vez de consultar? Quem corre o maior risco de sofrer danos e porquê? Existem agentes ruins que podem usar seu produto intencionalmente para causar danos ou indivíduos que podem usá-lo de forma ignorante e acidental para causar danos? Uma vez que você saiba as respostas a estas perguntas, você pode trabalhar para resolver estes problemas. Recomendamos que fale com um investigador de usuários para saber mais sobre os seus clientes.

Recursos

• Blog post: Como a Salesforce incorpora ética em sua IA
• Artigo: Science: Companies With Women in Top Management Are Much More Profitable
• Artigo: Why We Need Women in Tech
• Trailhead: UX Research Basics