Compreender o uso ético da tecnologia

Objetivos de aprendizagem

Após concluir esta unidade, você estará apto a:

• Definir enviesamento e justiça.
  
• Identificar estratégias para evitar vieses e lacunas.
  
• Converter valores da empresa em processos.
  
• Descrever a importância de compreender seus clientes para um design eticamente alinhado.
  

Design e desenvolvimento de tecnologia responsável

Estamos apenas começando a entender como a tecnologia emergente impacta a sociedade. À medida que a tecnologia avança, as empresas têm sido confrontadas com considerações críticas, desde questões sobre a substituição de postos de trabalho pela automação até à especulação sobre os efeitos do desenvolvimento das redes sociais.  

Muitas indústrias são regidas por normas, protocolos e regulamentos destinados a garantir que seus produtos tenham um impacto positivo na sociedade. Os médicos, por exemplo, seguem o Juramento de Hipócrates, tendo estabelecido comissões de revisão de pesquisas para garantir práticas éticas. A indústria automobilística está sujeita às leis de condução e às normas de segurança em torno dos cintos de segurança e airbags. De um modo mais geral, em 2011, as Nações Unidas aprovaram os Princípios Orientadores para Empresas e Direitos Humanos, que definem as responsabilidades que as empresas e os Estados têm de proteger os direitos e liberdades concedidos a todos os indivíduos.

Na Salesforce, entendemos que temos uma responsabilidade mais ampla para com a sociedade e aspiramos criar tecnologia que não apenas impulsione o sucesso de nossos clientes, mas também impulsione mudanças sociais positivas e beneficie a humanidade. A Salesforce estabeleceu o Office of Ethical and Humane Use para percorrer um caminho na Quarta Revolução Industrial, ajudando nossos clientes a usar nossa tecnologia para causar um impacto positivo. Este esforço está ancorado nos valores fundamentais da Salesforce (confiança, sucesso do cliente, inovação, igualdade e sustentabilidade).

Quando se trata de ética tecnológica, as questões nunca foram tão urgentes, e cabe a todos nós encontrar as soluções.

O que significa estar enviesado ou ser justo?

Quando você cria ou usa tecnologia, especialmente envolvendo inteligência artificial ou automação, é importante fazer a si mesmo perguntas de enviesamento e justiça.

Na Salesforce, definimos viés digital como "erros sistemáticos e repetíveis em um sistema de computação que criam resultados injustos, de maneiras diferentes da função pretendida para o devido a premissas incorretas no processo de aprendizagem de máquina". No contexto das estatísticas, o enviesamento é o desvio sistemático da verdade ou erro. De uma perspetiva social, a Salesforce reconhece o viés como “os atalhos mentais automáticos que usamos para processar informações e tomar decisões rapidamente”, o que, infelizmente, pode, às vezes, levar a resultados díspares.

A justiça é definida como uma decisão tomada sem interesse próprio, preconceito ou favoritismo. Na realidade, é quase impossível uma decisão ser perfeitamente justa. Um painel na Conferência sobre Justiça, Responsabilidade e Transparência da Association for Computing Machinery, em 2018, desenvolveu uma lista de mais de 21 definições de justiça. Se há tantas maneiras de pensar sobre justiça, como você pode dizer se os seres humanos ou as máquinas estão tomando decisões justas? 

Para tomar uma decisão mais informada, é fundamental compreender o impacto dessa decisão. Uma decisão que beneficia o maior número de pessoas continua a excluir uma parcela da população, o que é injusto se essa minoria for frequentemente ignorada. Devemos nos perguntar: Alguns indivíduos ou grupos são desproporcionalmente afetados por uma decisão? O enviesamento sistêmico em decisões anteriores ou dados imprecisos tornam alguns grupos menos propensos a receber uma avaliação justa ou imparcial? Se a resposta for sim, então você deve decidir se, e como, deve otimizar para garantir a igualdade para todos.

Criar uma cultura ética

A maioria das empresas não tem a intenção de ofender ou prejudicar as pessoas. Mas podem fazê-lo de maneira não intencional se não definirem seus valores centrais e implementarem processos para garantir que todos na empresa estejam trabalhando de acordo com eles. Ao definir valores, processos e incentivos, os líderes podem influenciar a cultura de suas empresas. Os líderes podem e devem ensinar aos alunos e funcionários como aplicar a ética em seu trabalho, mas se a cultura da empresa não é saudável, é como plantar uma árvore saudável em um pomar degradado. Até mesmo a árvore saudável acaba por produzir maçãs podres. Os líderes devem recompensar o comportamento ético enquanto detectam e impedem o comportamento antiético. 

É importante lembrar que somos todos líderes nesta questão. Você pode fazer a diferença ao introduzir e manter uma cultura ética com uma abordagem de ponta a ponta. 

1. Criar equipes que aproveitam várias perspectivas exclusivas.
   
2. Converta valores em processos.
   
3. Entenda seus clientes.
   

Criar equipes que aproveitam várias perspectivas exclusivas

A pesquisa mostra que as equipes compostas por um conjunto de experiências vividas e identidades são mais criativas, diligentes e esforçadas. Uma organização que inclui mais mulheres em todos os níveis, especialmente na alta direção, geralmente tem lucros mais altos. Para saber mais, confira a seção Recursos no final desta unidade. 

Tudo o que criamos representa os nossos valores, experiências e enviesamento. Por exemplo, os sistemas de reconhecimento facial muitas vezes têm mais dificuldade em identificar rostos negros ou morenos do que rostos brancos. Se as equipes que estão criando essa tecnologia tivessem incorporado um espectro mais amplo de caraterísticas faciais para testar a tecnologia durante o desenvolvimento, seria mais provável que tivessem reconhecido e abordado esse viés. 

As equipes de desenvolvimento devem recorrer a uma grande variedade de perspectivas, experiências e identidades para embasar seus trabalhos. Não realizar essa ação pode criar uma câmara de eco que resulta em produtos enviesados e lacunas de recursos. Se você não conseguir criar equipes que reflitam várias perspectivas exclusivas, considere buscar feedback em várias comunidades em toda a empresa e base de usuários.

O senso de comunidade também faz parte da base ética de uma empresa. Ninguém deve ser o único responsável por agir de forma ética ou promover a ética. Em vez disso, a empresa como um todo deve estar atenta e consciente da ética. Os funcionários devem se sentir confortáveis desafiando o status quo e falando, o que pode identificar riscos para o seu negócio. Os membros da equipe devem fazer perguntas éticas específicas a seus domínios, tais como: 

• Gerentes de produto: Qual é o impacto comercial de um falso positivo ou falso negativo no nosso algoritmo?
  
• Pesquisadores: Quem é impactado pelo nosso sistema e como? Como o produto pode ser usado inadequadamente? Como as pessoas podem tentar quebrar o produto ou usá-lo de forma não intencional? Qual é o contexto social em que o produto é usado?
  
• Designers: Quais são as predefinições ou suposições que estou incorporando no produto? Estou desenvolvendo este produto para a transparência e a igualdade?
  
• Cientistas de dados: Quais são as implicações para os usuários quando eu otimizo meu modelo desta forma?
  
• Escritores de conteúdo: Posso explicar por que o sistema fez uma previsão, recomendação ou decisão em termos que o usuário pode entender?
  
• Engenheiros: Quais notificações, processos, verificações ou failsafes podemos incorporar ao sistema para mitigar danos?
  

Note que estas questões envolvem as perspectivas de várias funções. Envolver as partes interessadas e os membros da equipe em todos os estágios do ciclo de vida de desenvolvimento do produto ajuda a corrigir o impacto do viés sistêmico em seu sistema. Se você faz parte de uma equipe que não tem alguma dessas funções, ou na qual você desempenha várias funções, você pode precisar rebolar para garantir que cada uma dessas perspectivas seja incluída; e isso pode envolver a procura de experiência ou aconselhamento externo. Quando os funcionários estão insatisfeitos com as respostas que recebem, deve haver um processo claro para resolver as áreas problemáticas, como um quadro de revisão. Entraremos em mais detalhes sobre isso mais tarde. 

Converter valores em processos

Quase todas as organizações têm um conjunto de valores concebidos para orientar a tomada de decisão dos seus colaboradores. Há três formas de colocar isso em prática.

1. Estruturas de incentivo
   
2. Recursos
   
3. Documentação e comunicação
   

Estruturas de incentivo

As estruturas de incentivo recompensam os indivíduos por comportamentos específicos ou pelo alcance de metas específicas. As estruturas de incentivos devem ser informadas por valores organizacionais. Na maioria das vezes, os funcionários são recompensados com base em vendas, aquisição de clientes e engajamento dos usuários. Essas métricas podem, às vezes, ir contra a tomada de decisão ética. Garanta que as iniciativas de incentivo não incentivem os funcionários a envolverem-se em práticas eticamente questionáveis apenas para receberem uma recompensa.

Você também pode incluir perguntas sobre desenvolvimento de tecnologia ética em seu processo de contratação. Isso define a expectativa dos novos funcionários de que a cultura ética que você está construindo é importante para a empresa e que o pensamento e o comportamento éticos sejam recompensados.

Apoio ao funcionário 

As organizações responsáveis fornecem recursos para apoiar os funcionários e capacitá-los a tomar decisões alinhadas com os valores da empresa. Isso pode incluir a educação dos funcionários (o Trailhead é um ótimo recurso para isso) e conselhos de revisão para resolver questões difíceis e garantir que os funcionários estejam seguindo as diretrizes. 

Na Salesforce, temos um conselho de revisão de ciência de dados, que fornece feedback sobre a qualidade e as considerações éticas de nossos modelos de IA, dados de treinamento e aplicativos que os utilizam. 

Embora a construção de uma cultura ética permita que os funcionários falem quando tiverem preocupações éticas, você também pode considerar a criação de um processo claro e anônimo para que os funcionários apresentem suas preocupações. Finalmente, as listas de verificação são ótimos recursos para provocar discussões e garantir que você não negligencie preocupações importantes. As listas de verificação, embora consistentes e fáceis de implementar, raramente são exaustivas e devem ser claras e práticas para serem úteis. Como elas permitem que os funcionários tenham conversas difíceis, as listas de verificação ajudam sua empresa a construir uma cultura ética desde o início. 

Documentação e comunicação

Documente a tomada de decisão para maior transparência e consistência. Se uma equipe estiver em uma encruzilhada ética, documentar o que foi decidido e por quê permite que equipes futuras aprendam com essa experiência e ajam de forma consistente ao invés de arbitrariamente. A documentação e a comunicação também dão aos seus funcionários e partes interessadas confiança no seu processo e nas decisões resultantes.

Entender seus clientes

Deve ser óbvio que você precisa entender todos os seus clientes. Se você não fizer isso, pode estar desenvolvendo produtos que ignoram uma parte de sua base de usuários ou prejudicar alguns usuários sem você ter a menor ideia disso. Pergunte a si mesmo, de quem você supôs necessidades e valores em vez de consultar? Quem corre o maior risco de sofrer danos e porquê? Existem agentes ruins que podem usar seu produto intencionalmente para causar danos ou indivíduos que podem usá-lo de forma ignorante e acidental para causar danos? Uma vez que você saiba as respostas a estas perguntas, você pode trabalhar para resolver estes problemas. Recomendamos que fale com um investigador de usuários para saber mais sobre os seus clientes.

Recursos

• Publicação do blog: Como a Salesforce incorpora ética em sua IA
• Artigo: Science: Companies With Women in Top Management Are Much More Profitable
• Artigo: Why We Need Women in Tech
• Trailhead: UX Research Basics