Comprendre l’utilisation éthique de la technologie

Objectifs de formation

Une fois cette unité terminée, vous pourrez :

• Définir les biais et l’équité
• Constituer une équipe incarnant la diversité pour éviter les biais et les lacunes
• Transformer les valeurs de l’entreprise en processus
• Décrire l’importance de la compréhension de vos clients pour une conception alignée sur l’éthique

Conception et développement de technologies responsables

Nous commençons tout juste à comprendre l’impact des technologies émergentes sur la société. Plusieurs problèmes se sont posés, des questions sur l’automatisation remplaçant des emplois aux spéculations sur les effets des réseaux sociaux sur le développement.  

De nombreux secteurs sont régis par des normes, des protocoles et des réglementations visant à garantir que leurs produits ont un impact positif sur la société. Les médecins, par exemple, respectent le serment d’Hippocrate et ont mis en place des comités d’examen de recherche pour garantir l’application de pratiques éthiques. L’industrie automobile est soumise aux lois sur la conduite et aux normes de sécurité relatives aux ceintures de sécurité et aux airbags. Plus généralement, en 2011, les Nations Unies ont approuvé les Principes directeurs relatifs aux entreprises et aux droits de l’Homme, qui définissent les responsabilités des entreprises et des États en matière de protection des droits et des libertés reconnus à tous les individus.

Chez Salesforce, nous savons que nous avons une responsabilité plus large envers la société et aspirons à créer une technologie qui non seulement favorise le succès de nos clients, mais assure également un changement social positif et profite à l’humanité. Salesforce a créé l’Office of Ethical and Humane Use afin d’ouvrir la voie à la quatrième révolution industrielle en aidant nos clients à utiliser notre technologie pour avoir un impact positif. Cet effort est ancré dans les valeurs fondamentales de Salesforce (confiance, réussite de nos clients, innovation, égalité et durabilité).

En matière d’éthique technologique, les questions n’ont jamais été aussi urgentes et c’est à nous de trouver les solutions.

Comment définir un comportement biaisé et un comportement équitable ?

Lorsque vous créez ou utilisez des technologies, en particulier lorsqu’il s’agit d’intelligence artificielle ou d’automatisation, il est important de vous interroger sur les biais et l’équité.

Chez Salesforce, nous considérons le biais comme « des erreurs systématiques et reproductibles dans un système informatique qui créent des résultats incorrects, d’une manière différente de la fonction prévue du système, en raison d’hypothèses inexactes dans le processus d’apprentissage automatique ». Dans le contexte des statistiques, le biais est une déviation systématique de la vérité ou de l’erreur. Du point de vue social et juridique, la chercheuse et professeure Kate Crawford définit le biais comme « un jugement fondé sur des notions préconçues ou des préjugés, par opposition à l’évaluation impartiale des faits ». 

L’équité est définie comme une décision prise sans intérêt personnel, préjugé ou favoritisme. En réalité, il est presque impossible qu’une décision soit parfaitement équitable. Lors de la conférence sur l’équité, la responsabilité et la transparence de l’Association for Computing Machinery en 2018, un panel a dressé une liste de plus de 21 définitions de l’équité. S’il y a tant de façons de définir l’équité, comment savoir si les humains ou les machines prennent des décisions équitables ? 

Pour prendre une décision plus éclairée, il est fondamental de comprendre l’impact de cette décision. Une décision qui profite au plus grand nombre de personnes exclut toujours une minorité, ce qui est injuste si cette minorité est souvent négligée. Vous devez vous demander : certains individus ou groupes sont-ils affectés de manière disproportionnée par une décision ? Les biais systémiques ancrés dans les décisions antérieures ou des données inexactes rendent-ils certains groupes moins susceptibles de faire l’objet d’une évaluation juste ou impartiale ? Si la réponse est oui, alors vous devez décider si, et comment, vous devez optimiser la solution pour protéger ces personnes, même si cela ne profitera pas à la majorité.

Existe-t-il des biais « bénéfiques » ?

Certaines personnes diront que tous les biais ne sont pas mauvais. Par exemple, supposons qu’un laboratoire pharmaceutique fabrique un médicament contre le cancer de la prostate et ne cible que les hommes dans ses campagnes marketing. L’entreprise estime que le ciblage de sa campagne marketing est un exemple de biais bénéfique, car il fournit un service sans déranger le public féminin avec des publicités non pertinentes. Toutefois, si le jeu de données du laboratoire ne comprenait que des personnes cisgenres ou ne reconnaissait pas d’autres identités de genre (par exemple, les personnes non binaires ou agenres, les femmes transgenres, les hommes transgenres), il exclurait probablement d’autres personnes susceptibles de bénéficier de l’affichage de la publicité. En intégrant une compréhension plus complexe et plus précise du genre et de l’identité de genre, le laboratoire serait plus en mesure de toucher toutes les personnes qui pourraient bénéficier du médicament.

Création d’une culture éthique

La plupart des entreprises ne cherchent pas activement à offenser les personnes ou à leur nuire. Elles peuvent cependant le faire sans le vouloir si elles ne définissent pas leurs valeurs fondamentales et ne mettent pas en place des processus garantissant que tout le monde au sein de l’entreprise respecte ces valeurs. En définissant des valeurs, des processus et des incitations, les dirigeants peuvent influencer la culture de leur entreprise. Les dirigeants peuvent et doivent enseigner aux étudiants et aux employés à appliquer l’éthique dans leur travail, mais si la culture de la société n’est pas saine, c’est comme planter un arbre sain dans un verger détruit. À terme, même l’arbre sain va produire des pommes pourries. Les dirigeants doivent récompenser les comportements éthiques tout en repérant et en mettant fin aux comportements contraires à l’éthique. 

Il est essentiel de garder à l’esprit que nous avons tous un rôle à jouer dans ce domaine. Vous pouvez faire la différence en introduisant et en maintenant une culture éthique avec une approche de bout en bout. 

1. Former des équipes incarnant la diversité
2. Transformer vos valeurs en processus
3. Comprendre vos clients

Former des équipes incarnant la diversité

Les études montrent que les équipes incarnant la diversité (en matière d’expérience, d’origine ethnique, de sexe et de capacités) sont plus créatives, consciencieuses et impliquées dans leur travail. Une organisation qui comprend plus de femmes à tous les niveaux, en particulier à des postes à responsabilités, génère généralement des bénéfices plus élevés. Pour en savoir plus, consultez la section Ressources à la fin de cette unité. 

Tout ce que nous créons est le reflet de nos valeurs, de nos expériences et de nos biais. Par exemple, les systèmes de reconnaissance faciale ont souvent plus de difficulté à identifier les visages noirs ou foncés que les visages blancs. Si les équipes qui créaient de telles technologies avaient été plus diversifiées, elles auraient probablement davantage reconnu et corrigé ce biais. 

Les équipes de développement doivent rechercher la diversité dans tous les domaines, de l’âge et de l’origine ethnique à la culture, en passant par l’éducation et les capacités. Le manque de diversité peut créer une chambre d’écho qui produit des produits biaisés et des lacunes. Si vous ne parvenez pas à embaucher des employés incarnant la diversité, envisagez de demander l’avis de groupes sous-représentés de votre entreprise et de votre base d’utilisateurs.

Le sens de la communauté fait également partie des fondements éthiques d’une entreprise. La responsabilité d’agir de manière éthique ou de promouvoir l’éthique ne doit pas reposer sur une seule personne. Au contraire, l’entreprise dans son ensemble doit être soucieuse et consciente de l’éthique. Les employés doivent se sentir à l’aise pour contester le statu quo et s’exprimer, ce qui permet d’identifier les risques pour votre entreprise. Les membres des équipes doivent poser des questions éthiques spécifiques de leurs domaines, telles que : 

• Responsables produit : Quel est l’impact commercial d’un faux positif ou d’un faux négatif dans notre algorithme ?
• Chercheurs : Qui est concerné par notre système et dans quelle mesure ? Comment notre système peut-il être détourné ? Quelles sont les failles du système en matière d’altération du produit ou de détournement de son utilisation ? Dans quel contexte social sera-t-il utilisé ?
• Concepteurs : Quelles valeurs par défaut ou hypothèses dois-je intégrer au produit ? Est-ce que je conçois ce produit pour la transparence et l’égalité ?
• Data scientists : Quelles sont les implications pour les utilisateurs lorsque j’optimise mon modèle de cette manière ?
• Rédacteurs de contenu : Puis-je expliquer pourquoi le système a émis une prédiction, une recommandation ou une décision dans des termes que l’utilisateur peut comprendre ?
• Ingénieurs : Quels processus, notifications, vérifications ou barrières de sécurité pouvons-nous intégrer au système pour atténuer les préjudices ?

Vous remarquerez que ces questions impliquent les perspectives de plusieurs fonctions. L’implication des parties prenantes et des membres des équipes à chaque étape du cycle de vie du développement du produit permet de corriger l’impact des inégalités sociales systémiques sur votre système. Si l’une de ces fonctions n’est pas représentée dans votre équipe ou si vous occupez un poste à fonctions multiples, vous devrez peut-être adopter plusieurs points de vue pour vous assurer que la vision de chacune de ces fonctions est incluse. Cela peut impliquer de rechercher une expertise ou des conseils externes. Lorsque les employés sont insatisfaits des réponses qu’ils obtiennent, ils doivent avoir à leur disposition un processus clair permettant de résoudre les problèmes, comme un comité d’examen. Nous détaillerons cela plus tard. 

Transformer vos valeurs en processus

Presque toutes les organisations disposent d’un ensemble de valeurs conçues pour guider les décisions de leurs employés. Il existe trois façons de mettre cela en pratique.

1. Structures incitatives
2. Ressources
3. Documentation et communication

Structures incitatives

Les structures incitatives récompensent les individus qui ont adopté des comportements spécifiques ou qui ont atteint des objectifs spécifiques. Les structures incitatives doivent être sous-tendues par les valeurs de l’organisation. Le plus souvent, les employés sont récompensés en fonction des ventes, de l’acquisition de clients et de l’engagement des utilisateurs. Ces métriques peuvent parfois aller à l’encontre de la prise de décision éthique. 

Si une organisation souhaite récompenser des comportements conformes à ses valeurs, les structures incitatives possibles peuvent inclure des primes éthiques. Semblables aux primes de repérage des bugs, les primes éthiques récompensent les employés lorsqu’ils identifient des décisions, des processus ou des fonctionnalités contraires aux valeurs de la société ou qui portent préjudice à autrui. Elles récompensent également les commerciaux qui partagent leurs inquiétudes quant aux contrats avec les clients et évitent les risques juridiques ou de relations publiques potentiels.

Vous pouvez également inclure des questions sur le développement de technologies éthiques dans votre processus d’embauche. Cela montre aux nouveaux employés que la culture éthique que vous développez est importante pour l’entreprise, et que la pensée et le comportement éthiques sont récompensés.

Assistance aux employés 

Les organisations responsables fournissent des ressources pour aider les employés et leur donner les moyens de prendre des décisions conformes aux valeurs de l’entreprise. Ces ressources peuvent inclure des formations (grâce à Trailhead par exemple) et des comités d’examen pour résoudre les problèmes difficiles et garantir le suivi des directives par les employés. 

Chez Salesforce, nous disposons d’un comité d’examen de science des données qui fournit des retours sur la qualité et les considérations éthiques de nos modèles d’IA, de nos données d’entraînement et des applications qui les utilisent. 

L’instauration d’une culture éthique permet aux employés de s’exprimer lorsqu’ils ont des préoccupations éthiques, mais vous pouvez également envisager de créer un processus clair et anonyme permettant aux employés de signaler leurs préoccupations. Enfin, les listes de contrôle sont d’excellentes ressources pour engager la discussion et vous éviter de négliger des préoccupations importantes. Les listes de contrôle, bien que cohérentes et faciles à mettre en place, sont rarement exhaustives et doivent être claires et exploitables pour être utiles. Parce qu’elles permettent aux employés de s’exprimer sur des sujets délicats, les listes de contrôle aident votre entreprise à créer une culture éthique à tous les niveaux. 

Documentation et communication

Documentez la prise de décision pour favoriser la transparence et la cohérence. Si une équipe se retrouve face à un défi relevant de l’éthique, documenter la décision prise et les raisons qui la sous-tendent permet aux futures équipes d’apprendre de cette expérience et d’agir de manière cohérente plutôt que de manière arbitraire. La documentation et la communication donnent également confiance à vos employés et parties prenantes dans votre processus et les décisions qui en résultent.

Comprendre vos clients

Il va sans dire que vous devez comprendre tous vos clients. Si vous ne les comprenez pas, vous pourriez concevoir des produits qui ne prennent pas en compte une partie de votre base d’utilisateurs ou qui nuisent à certains utilisateurs à votre insu. Demandez-vous quels sont les besoins et les valeurs que vous avez supposés plutôt que définis après discussion. Qui est le plus exposé aux préjudices et pourquoi ? Existe-t-il des personnes mal intentionnées qui pourraient utiliser votre produit pour porter préjudice à autrui ou des personnes qui pourraient nuire accidentellement à autrui en l’utilisant d’une manière erronée ? Une fois que vous connaissez les réponses à ces questions, vous pouvez travailler à la résolution de ces problèmes. Nous vous recommandons de contacter un chercheur dédié aux utilisateurs pour en savoir plus sur vos clients.

Ressources

• Blog post: La stratégie de Salesforce pour intégrer une dimension éthique dans son IA
• Article : Science : Les entreprises où les femmes occupent des postes à responsabilité sont beaucoup plus rentables
• Article : Pourquoi nous avons besoin de femmes dans le secteur de la technologie
• Trailhead : Les bases de la recherche sur l’expérience utilisateur