Comprendere l'uso etico della tecnologia

Obiettivi di apprendimento

Al completamento di questa unità, sarai in grado di:

Definire il bias e l'equità.
Creare un team eterogeneo per evitare bias e lacune.
Tradurre i valori aziendali in processi.
Descrivere perché è importante comprendere i clienti per una progettazione eticamente corretta.

Progettare e sviluppare la tecnologia in modo responsabile

Stiamo solo iniziando a comprendere qual è l'impatto della tecnologia emergente sulla società. Sono sorte problematiche di vario tipo, dalla questione della perdita di posti di lavoro causata dall'automazione fino alle riflessioni sugli effetti dei social media sullo sviluppo.

Molti settori sono governati da standard, protocolli e regolamenti che hanno lo scopo di assicurare che i loro prodotti abbiano un impatto positivo sulla società. I medici, per esempio, sono vincolati dal giuramento di Ippocrate e hanno istituito comitati di revisione della ricerca allo scopo di assicurare prassi eticamente corrette. L'industria automobilistica è soggetta al codice della strada e agli standard di sicurezza relativi a cinture di sicurezza e airbag. Più in generale, nel 2011 le Nazioni Unite hanno approvato i Principi Guida su imprese e i diritti umani, che definiscono le responsabilità delle imprese e dei Paesi in materia di protezione dei diritti e delle libertà di tutti gli individui.

In Salesforce, siamo consapevoli di avere una più ampia responsabilità verso la società e aspiriamo a creare tecnologia che non solo favorisca il successo dei nostri clienti ma che promuova anche un cambiamento sociale positivo e sia utile all'umanità. Salesforce ha istituito l'Ufficio dell'Uso Etico e Umano per tracciare un percorso nella quarta rivoluzione industriale, aiutando i clienti a usare la nostra tecnologia per avere un impatto positivo. Questo impegno è ancorato ai valori fondamentali di Salesforce (Fiducia, Successo dei clienti, Innovazione, Uguaglianza e Sostenibilità).

I valori fondamentali di Salesforce impressi su uno stemma: Fiducia, Successo dei clienti, Innovazione, Uguaglianza e Sostenibilità
Quando si tratta di etica della tecnologia, gli interrogativi non sono mai stati così urgenti e sta a tutti noi trovare le soluzioni.

Che cosa sono il bias e l'equità?

Quando si crea o si utilizza la tecnologia, in particolare se comporta l'applicazione dell'intelligenza artificiale o dell'automazione, è importante interrogarsi in merito al bias e all'equità.

In Salesforce consideriamo il bias come "errori sistematici e ripetibili riscontrabili in un sistema informatico che creano risultati iniqui con modalità che differiscono dalla funzionalità prevista del sistema a causa di presupposti errati presenti nel processo di machine learning". Nel contesto della statistica, il bias è una deviazione sistematica dalla verità o un errore. Dal punto di vista sociale e legale, la ricercatrice e professoressa Kate Crawford definisce il bias "un giudizio basato su nozioni preconcette o pregiudizi, che si contrappone alla valutazione imparziale dei fatti".

L'equità viene definita come una decisione presa senza alcun interesse personale, pregiudizio o favoritismo. In realtà è quasi impossibile che una decisione sia perfettamente equa. Nel 2018, durante la Conferenza sull'imparzialità, la responsabilità e la trasparenza dell'Association for Computing Machinery, un comitato ha compilato un elenco di oltre 21 definizioni di equità. Se l'equità può essere interpretata in tanti modi, come è possibile stabilire se le decisioni che prendono gli uomini o le macchine sono eque?

Tre persone che concepiscono la divisione giusta ed equa di una torta in modo diverso.

Per prendere una decisione più informata è fondamentale comprendere quali saranno le sue conseguenze. Una decisione che vada a vantaggio del maggior numero di persone esclude comunque una minoranza, il che è ingiusto se quella minoranza è spesso trascurata. Ti devi chiedere: La decisione ha un effetto sproporzionato per alcuni individui o gruppi? Ci sono gruppi che potrebbero non essere valutati in modo equo e imparziale a causa di bias sistemico in decisioni passate o di dati imprecisi? Se la risposta è sì, allora devi decidere se e come rendere più efficace la protezione di quegli individui, anche se va a scapito della maggioranza.

Esiste un bias "buono"?

Qualcuno potrebbe obiettare che non tutti i bias sono negativi. Per esempio, immaginiamo che una casa farmaceutica produca un farmaco contro il cancro alla prostata e nelle campagne di marketing si rivolga solo agli uomini. L'azienda ritiene che il target della campagna di marketing sia un esempio di bias positivo, in quanto offre un servizio evitando di disturbare il pubblico femminile con annunci non pertinenti. Ma se il dataset dell'azienda includesse solo persone cis-gender o non riconoscesse altre identità (ovvero non binari, donne transgender, uomini transgender e individui agender) probabilmente escluderebbe persone che potrebbero trarre vantaggio dall'annuncio. Incorporando una concezione più complessa e accurata del genere e dell'identità di genere, l'azienda sarebbe meglio attrezzata per arrivare a tutte le persone che potrebbero beneficiare del farmaco.

Creare una cultura etica

Le aziende in genere non scelgono di offendere o nuocere alle persone. Ma potrebbero farlo involontariamente se non stabiliscono i loro valori fondamentali e non predispongono processi per assicurare che tutti nell'azienda operino conformemente ad essi. Stabilendo valori, processi e incentivi, le persone con responsabilità di leadership hanno la possibilità di influenzare la cultura delle loro aziende. I leader possono e devono insegnare a studenti e dipendenti come applicare l'etica al loro lavoro, ma se la cultura aziendale non è sana, è come piantare un albero sano in un frutteto malato. Alla fine anche l'albero sano produrrà mele marce. I leader devono premiare il comportamento etico e allo stesso tempo individuare e bloccare i comportamenti che non lo sono.

È importante ricordare che in questo campo tutti siamo leader. Puoi fare la differenza introducendo e mantenendo una cultura etica con un approccio a tutto tondo.

Crea team eterogenei.
Traduci i valori in processi.
Conosci i tuoi clienti.

Creare team eterogenei

La ricerca mostra che i team eterogenei (relativamente a grado di esperienza, razza, genere e abilità) sono più creativi, diligenti e produttivi. Un'organizzazione che include più donne a tutti i livelli, in particolare nell'alta dirigenza, in genere mostra profitti più elevati. Per approfondire, consulta la sezione Risorse alla fine di questa unità.

Undici persone di abilità, razze, generi ed età diverse.

Tutto ciò che creiamo rispecchia i nostri valori, esperienze e pregiudizi. Per esempio, i sistemi di riconoscimento facciale spesso hanno più difficoltà a identificare i volti di persone dalla pelle scura rispetto a quelle dalla pelle chiara. Se i team che hanno creato quella tecnologia fossero stati più eterogenei, probabilmente avrebbero rilevato ed eliminato quel bias.

I team di sviluppo devono puntare alla diversità in ogni aspetto, dall'età alla razza e alla cultura, all'istruzione e all'abilità. La mancanza di diversità può creare un camera di risonanza che porta a prodotti falsati dal bias e lacune nelle funzionalità. Se non è possibile assumere membri eterogenei per il team, considera la possibilità di chiedere feedback ai gruppi sottorappresentati nella tua azienda e base di utenza.

Anche il senso di comunità fa parte delle fondamenta etiche di un'azienda. Nessuna singola persona deve essere unica responsabile dei comportamenti etici o della promozione dell'etica. Al contrario, l'azienda nella sua interezza deve essere attenta e consapevole in fatto di etica. I dipendenti dovrebbero sentirsi liberi di mettere in discussione lo stato delle cose e parlare apertamente, un esercizio utile per identificare i rischi per il business. I membri del team devono fare domande in merito all'etica specifiche per il loro campo, ad esempio:

Product manager: qual è l'impatto sul business di un falso positivo o di un falso negativo nel nostro algoritmo?
Ricercatori: chi è interessato dal nostro sistema e come? Come può essere utilizzato in modo improprio? In che modo le persone possono provare a compromettere il prodotto o usarlo in modo inappropriato? Qual è il contesto sociale in cui viene usato?
Progettisti: quali impostazioni predefinite o presupposti sto integrando nel prodotto? La mia progettazione mira alla trasparenza e all'uguaglianza?
Data scientist: quali sono le implicazioni per gli utenti se ottimizzo il mio modello in questo modo?
Autori dei contenuti: sono in grado di spiegare in termini comprensibili per gli utenti perché il sistema ha fatto una previsione, ha consigliato qualcosa o ha preso una decisione?
Tecnici: quali notifiche, processi, controlli o salvaguardie possiamo incorporare nel sistema per mitigare possibili danni?

Dipendenti che si fanno domande sull'etica specifiche per i propri ruoli.

Come puoi notare queste domande interessano i punti di vista di più ruoli. Coinvolgere gli stakeholder e i membri del team in ogni fase del ciclo di vita dello sviluppo di un prodotto è utile per correggere l'impatto delle ineguaglianze sociali sistemiche insite nel tuo sistema. Se fai parte di un team in cui alcuni di questi ruoli non sono rappresentati o se ne rivesti più d'uno, potrebbe essere necessario metterti di volta in volta nei panni degli altri per assicurare che siano inclusi tutti i punti di vista, o anche rivolgerti a persone competenti esterne o chiedere consiglio. Quando i dipendenti non sono soddisfatti delle risposte che ricevono, si deve attivare un processo ben definito per risolvere le aree problematiche, ad esempio una commissione di verifica. Approfondiremo questo punto più avanti.

Tradurre i valori in processi

Quasi tutte le organizzazioni hanno un loro set di valori volti a guidare i processi decisionali dei dipendenti. Per metterli in pratica si utilizzano tre metodi.

Strutture di incentivi
Risorse
Documentazione e comunicazione

Strutture di incentivi

Le strutture di incentivi premiano gli individui per comportamenti specifici o per il raggiungimento di obiettivi specifici e dovrebbero essere ispirate dai valori dell'organizzazione. Molto spesso i dipendenti vengono premiati sulla base delle vendite, dell'acquisizione di clienti e del coinvolgimento degli utenti. A volte queste metriche possono andare nella direzione opposta alle decisioni etiche.

Se un'organizzazione desidera premiare comportamenti che sono in linea con i propri valori, le possibili strutture di incentivi possono includere ricompense per la segnalazione di problemi etici, i cosiddetti "ethical bounty". In maniera analoga ai bug bounty, i premi per chi scova i bug, gli ethical bounty premiano i dipendenti quando identificano decisioni, processi o funzionalità che vanno contro i valori aziendali o causano danno ad altri, oppure premiano gli agenti di vendita quando segnalano dubbi sui contratti con i clienti ed evitano potenziali rischi di natura legale o legati alle pubbliche relazioni.

Puoi anche includere nel processo di assunzione domande sullo sviluppo etico della tecnologia. In questo modo i nuovi dipendenti penseranno che la cultura etica che state creando è importante e che il pensiero e il comportamento etici sono premiati.

Supporto per i dipendenti

Le organizzazioni responsabili mettono a disposizione dei dipendenti risorse di supporto che li aiutano a prendere decisioni in linea con i valori aziendali. Possono essere corsi di formazione per i dipendenti (Trailhead è un'ottima risorsa in questo senso) e commissioni di revisione per risolvere i problemi difficili e assicurare che i dipendenti seguano le linee guida.

In Salesforce, abbiamo una commissione di revisione per la data science, che fornisce feedback sulla qualità e i valutazioni etiche che riguardano i nostri modelli di IA, i dati di addestramento e le applicazioni che li utilizzano.

Creare una cultura etica dà ai dipendenti la possibilità di parlare senza timori in caso di questioni etiche, tuttavia potresti anche decidere di instaurare un processo ben definito attraverso cui i dipendenti possono segnalare in modo anonimo possibili problemi. Per finire, gli elenchi di controllo sono delle ottime risorse per stimolare il dibattito e assicurare che questioni importanti non passino inosservate. Gli elenchi di controllo, anche se coerenti e facili da implementare, raramente sono esaustivi e devono essere chiari e fruibili per essere utili. Consentendo ai dipendenti di affrontare questioni difficili, gli elenchi di controllo aiutano la tua azienda a creare una cultura etica fin dalle basi.

Elenco di controllo su un portablocco con le spunte sulle azioni completate.

Documentazione e comunicazione

Documenta il processo decisionale in modo trasparente e coerente. Se un team si trova a dover compiere una scelta etica, documentare la decisione presa, motivandola, consente ai team futuri di imparare dall'esperienza e agire in modo coerente invece che arbitrario. Con la documentazione e la comunicazione, inoltre, il processo e le decisioni che ne derivano ispirano fiducia ai dipendenti e alle parti interessate.

Conoscere i clienti

Va da sé che è necessario conoscere tutti i tuoi clienti. Se così non fosse, potresti progettare prodotti che ignorano una parte della tua utenza o danneggiano alcuni utenti a tua insaputa. Chiediti se hai dato per scontato quali fossero le necessità e i valori di qualcuno invece che chiedere informazioni, chi è più esposto al rischio di subire un danno e perché, se ci sono malintenzionati che potrebbero usare deliberatamente il tuo prodotto con fini malevoli o persone che potrebbero usarlo in modo errato e causare accidentalmente danno. Dopo aver risposto a queste domande puoi metterti al lavoro per risolvere i problemi. Ti consigliamo di incaricare una persona esperta in ricerca sugli utenti per conoscere meglio i tuoi clienti.