Riconoscere il bias nell'Intelligenza Artificiale

Obiettivi di apprendimento

Al completamento di questa unità, sarai in grado di:

Descrivere quale ruolo svolgono i dati nello sviluppo di un sistema di IA.
Comprendere la differenza tra ciò che è etico e ciò che è legale.
Identificare il tipo di bias che può insinuarsi in un sistema di IA.
Trovare i punti di ingresso attraverso cui il bias può penetrare in un sistema di IA.

Focus sull'intelligenza artificiale

L'intelligenza artificiale può espandere l'intelligenza umana, amplificare le capacità umane e fornire approfondimenti concreti che portano a risultati migliori per i nostri dipendenti, clienti, partner e comunità.

Noi pensiamo che i vantaggi dell'IA dovrebbero essere accessibili a tutti, non solo a chi la crea. Non basta limitarsi a fornire le capacità tecnologiche dell'IA. Abbiamo anche l'importante responsabilità di accertarci che i nostri clienti possano utilizzare l'intelligenza artificiale in maniera sicura e inclusiva per tutti. È un compito che prendiamo molto sul serio e ci impegniamo a fornire ai nostri dipendenti, clienti, partner e comunità gli strumenti di cui hanno bisogno per sviluppare e usare l'IA in modo sicuro, accurato ed etico.

Come spieghiamo nel badge Nozioni fondamentali sull'intelligenza artificiale, l'IA è un termine generico che indica l'impegno per insegnare ai computer ad eseguire attività complesse e comportarsi in modi che danno l'impressione di azioni umane. L'addestramento per queste attività richiede quantità imponenti di dati da cui il computer impara a riconoscere dei pattern. Questi pattern danno forma a un modello che rappresenta un sistema complesso, un po' come si può creare un modello del sistema solare. Un buon modello consente di fare previsioni valide come, riprendendo la similitudine, quando si prevede la prossima eclissi solare, oppure di generare contenuti, come scrivere un poema nello stile che utilizzerebbe un pirata.

Non sempre sappiamo perché un determinato modello faccia una specifica previsione o generi contenuti in un certo modo. Frank Pasquale, autore di The Black Box Society, descrive questa mancanza di trasparenza come il fenomeno della scatola nera. Le aziende che creano IA sanno spiegare i processi alla base dei loro sistemi, ma trovano molto più difficile capire che cosa accade in tempo reale e in che ordine, e in che punto potrebbe essere presente un bias nel modello. Per quanto riguarda il bias e la capacità di prendere decisioni eque, l'IA pone sfide particolari.

Cosa è etico e cosa è legale

Ogni società ha leggi che i cittadini devono rispettare. Tuttavia, a volte, occorre pensare oltre la legge per sviluppare una tecnologia etica. Per esempio, la legge federale statunitense tutela alcune caratteristiche, che in genere non si possono utilizzare nelle decisioni che riguardano l'assunzione, la promozione, l'alloggio, i prestiti o la sanità. Le classi protette comprendono sesso, razza, età, disabilità, colore, nazione di origine, religione o credo e informazioni genetiche. Se i tuoi modelli IA utilizzano queste caratteristiche, potresti violare la legge. Se il tuo modello IA prende una decisione che può legalmente basarsi su quelle caratteristiche, potrebbe comunque non essere corretto consentire quel genere di bias. Le questioni relative alle classi protette possono allargarsi anche agli ambiti della privacy e della legalità, per questo ti consigliamo di seguire il nostro itinerario sul GDPR per approfondire l'argomento. Infine, è importante anche sapere in che modo i prodotti basati su Einstein possono o non possono essere utilizzati in conformità con la nostra Politica di utilizzo accettabile.

La buona notizia è che l'IA offre l'opportunità di risolvere il bias in modo sistematico. Storicamente, se ti accorgevi che le decisioni della tua azienda producevano risultati influenzati da pregiudizi, era difficile riprogettare l'intero processo e superare il bias intrinseco. Ora, con i sistemi di IA abbiamo la possibilità di integrare l'equità nella progettazione e migliorare le prassi esistenti.

Oltre ad esaminare le implicazioni legali ed etiche dei modelli di IA, è necessario valutare anche se il modello coerente con la responsabilità della tua azienda di rispettare e promuovere i diritti umani. Devi inoltre tener conto della legge internazionale per la difesa dei diritti umani e le responsabilità che le Nazioni Unite hanno fissato per la tutela dei diritti umani nelle imprese, che richiedono di eseguire un processo di adeguata valutazione dell'impatto sui diritti umani, intervenire sulla base della valutazione e comunicare come è stato gestito tale impatto.

Tipi di bias da ricercare

Il bias si manifesta in molti modi. A volte è il risultato di un errore sistematico, altre volte è frutto del pregiudizio sociale. In alcuni casi la distinzione non è netta. Tenendo a mente questi due tipi di bias, guardiamo i modi in cui questo può infiltrarsi in un sistema IA.

Bias di misurazione o del set di dati

Quando i dati non sono etichettati o categorizzati correttamente o sono eccessivamente semplificati, danno luogo al bias di misurazione. Il bias di misurazione si può introdurre quando una persona sbaglia a etichettare i dati o in seguito a un errore del computer. Una caratteristica, un fattore o un gruppo possono essere sovra o sottorappresentati nel set di dati.

Prendiamo un esempio semplice: un sistema di riconoscimento per immagini di cani e gatti. I dati di addestramento sembrano abbastanza semplici, foto di cani e gatti. Tuttavia, il set di immagini include solo foto di cani neri e di gatti bianchi o rossi. Quando analizza la foto di un cane bianco, l'IA lo assegna alla categoria dei gatti. Anche se in una situazione reale i dati di addestramento difficilmente sono così precisi e semplici, i risultati possono essere altrettanto palesemente errati, con conseguenze di rilievo.

Illustrazione dei dati per addestramento, con foto di sei cani neri, quattro gatti bianchi e due gatti rossi inseriti in un algoritmo per un modello predittivo. Il modello categorizza il cane bianco come "gatto" con un punteggio di affidabilità pari a 0,96.

Errori di tipo 1 rispetto a errori di tipo 2

Immagina una banca che utilizza l'IA per prevedere se un cliente che ha richiesto un prestito lo restituirà. Se il sistema prevede che il richiedente sarà in grado di restituire il prestito ma di fatto non è così, il risultato è un falso positivo, ovvero un errore di tipo 1. Se il sistema prevede che il richiedente non sarà in grado di restituire i prestito ma di fatto lo è, il risultato è un falso negativo, ovvero un errore di tipo 2. Le banche hanno interesse a concedere prestiti a chi pensano che sarà in grado di restituirli. Per ridurre al minimo il rischio, il loro modello propende per gli errori di tipo 2. Tuttavia, così facendo, i falsi negativi danneggiano i richiedenti che il sistema valuta erroneamente come insolventi.

Un'altalena con i prestiti a basso rischio per la banca poggiati su un lato e i prestiti ad alto rischio poggiati sull'altro, inclinata sul lato del rischio alto.

Bias di associazione

Un esempio di bias di associazione è quando i dati sono etichettati in base a stereotipi. Cerca online "giochi per bambine" e, presso la maggior parte dei rivenditori, troverai un assortimento infinito di giochi per cucinare, bambole, principesse, con una predominanza del colore rosa. Cerca "giochi per bambini" e vedrai personaggi dei super eroi, mattoncini per costruzioni e video game.

Bias di conferma

Il bias di conferma etichetta i dati in base a idee preconcette. I consigli che vedi quando fai shopping online rispecchiano le tue abitudini di acquisto, ma i dati che hanno influenzato i tuoi acquisti erano già un riflesso di ciò che le persone vedono e decidono di acquistare. Comprendi dunque come i sistemi che generano i consigli rinforzano gli stereotipi. Se nella sezione "giochi per bambine" non sono visualizzati i supereroi, è improbabile che l'acquirente sappia che sono in un'altra parte del sito e tanto meno che li acquisti.

Bias di automazione

Il bias di automazione impone i valori di un sistema sugli altri. Prendiamo come esempio un concorso di bellezza del 2016 in cui era l'IA a fare da giuria. L'obiettivo era proclamare le donne più belle con un certo livello di oggettività. Tuttavia, l'IA utilizzata era stata addestrata principalmente su immagini di donne bianche e la definizione di "bellezza" che aveva imparato non includeva tratti più comuni nelle persone di colore. Di conseguenza, nella maggior parte dei casi l'IA scelse vincitrici bianche, traducendo così un bias dei dati di addestramento in un risultato reale.

Il bias di automazione non è limitato all'IA. Pensiamo alla storia della fotografia a colori. A partire dalla metà del 1950, Kodak forniva ai laboratori fotografici che sviluppavano le loro pellicole l'immagine di un'impiegata di pelle chiara di nome Shirley Page, da usare come modello per calibrare i toni di pelle, le ombre e la luce. Anche se nel tempo vennero usati diversi modelli, si continuò a chiamare quelle immagini "Shirley card". Il tono della pelle di Shirley, indipendentemente da chi fosse la modella (e inizialmente era sempre bianca) era considerato lo standard. Come spiegò Lorna Roth, professoressa di multimedia alla Concordia University del Canada nel programma NPR, "quando vennero create le prime schede, le persone che compravano le macchine fotografiche erano principalmente di carnagione chiara. Quindi immagino che non si sentisse la necessità di espandere il mercato fino a includere una gamma più ampia di toni di pelle." Nel 1970 si iniziò a fare esperimenti con i vari toni di pelle e vennero create le Shirley card multirazziali.

Bias sociale

Il bias sociale riproduce gli esiti di pregiudizi del passato verso gruppi storicamente marginalizzati. Prendiamo per esempio il "redlining". Negli anni 30, una politica federale sugli alloggi ricorse all'uso dei colori per identificare i quartieri in termini di desiderabilità. Quelli segnati in rosso erano considerati pericolosi. Le banche spesso negavano l'accesso a mutui a basso costo per la casa alle minoranze residenti nei quartieri contrassegnati con il rosso. Il redlining ha influenzato la composizione razziale ed economica di aree contrassegnate da determinati codici postali, al punto che ancora oggi quei codici postali possono essere indicativi della razza. Se includi i codici postali come punto dati nel tuo modello, a seconda del caso d'uso, potresti inavvertitamente inserire la razza come fattore per le decisioni del tuo algoritmo. Ricorda che negli USA è illegale usare categorie protette per età, razza o genere, anche per prendere decisioni finanziarie.

Bias di sopravvivenza

A volte un algoritmo si focalizza sui risultati di chi è stato selezionato o è sopravvissuto a un determinato processo di esclusione, a scapito di chi è stato escluso. Diamo uno sguardo alle prassi di assunzione. Immagina di essere il direttore del personale di un'azienda e di voler capire se devi cercare nuove reclute in un'università specifica. Prendi in esame i dipendenti attuali provenienti dall'università tal dei tali che sono stati assunti, ma non consideri i candidati non provenienti da quell'università o che erano stati assunti ma poi hanno lasciato l'azienda. In questo modo vedi solo il successo di quelli che sono "sopravvissuti".

Infografica che raffigura il bias di sopravvivenza nel reclutamento dalle università. I candidati di tre università superano il primo filtro e solo i candidati che non hanno lasciato l'azienda superano il secondo. Il gruppo finale non è rappresentativo dei reclutamenti delle tre università.

Bias di interazione

Gli esseri umani creano bias di interazione quando interagiscono con i sistemi di IA o cercano di influenzarli creando risultati falsati. Un esempio è quando qualcuno cerca intenzionalmente di insegnare parolacce ai chatbot.

In che modo il bias si insinua nel sistema?

Sai che il bias può essere introdotto in un sistema IA dagli autori di un prodotto, attraverso i dati di addestramento (o la mancanza di informazioni su tutte le fonti che contribuiscono a un set di dati) o dal contesto sociale in cui viene sviluppata l'intelligenza artificiale.

Supposizioni

Prima di iniziare a creare un determinato sistema, spesso si fanno supposizioni su che cosa si deve creare, per chi deve essere creato, e come debba funzionare, inclusi quali tipi di dati raccogliere e da chi devono essere raccolti. Questo non significa che gli autori di un sistema abbiano cattive intenzioni ma, essendo umani, non possiamo sempre capire le esperienze degli altri o prevedere gli effetti che un determinato sistema avrà sugli altri. Possiamo provare a evitare che le nostre supposizioni trovino spazio in un prodotto includendo sin dall'inizio stakeholder e partecipanti diversi nei processi di ricerca e progettazione sin dall'inizio. Dovremmo cercare di comporre team eterogenei anche per lavorare sui sistemi di IA.

Dati di addestramento

I modelli di IA necessitano di dati per l'addestramento ed è facile introdurre bias nel set di dati. Se un'azienda assume sempre studenti delle stesse università, attraverso gli stessi programmi o secondo le stesse direttrici di genere, un sistema di IA per le assunzioni apprenderà che quelli sono i candidati migliori. Il sistema non consiglierà i candidati che non corrispondono a quei criteri.

Modello

I fattori che utilizzi per addestrare un modello di IA, come la razza, il genere o l'età, possono dare come risultato consigli o previsioni influenzate dal pregiudizio contro determinati gruppi definiti da quelle caratteristiche. Devi anche fare attenzione a fattori che fungono da surrogati di quelle caratteristiche. Il nome di una persona, per esempio, può essere un surrogato di genere, razza o paese di origine. Per questo motivo i prodotti basati su Einstein non utilizzano i nomi come fattori nei propri modelli di calcolo del punteggio di lead e opportunità.

Calcolo del punteggio di Einstein per Sales relativo a lead e opportunità. Un messaggio a comparsa informa che il codice postale ha una elevata correlazione con la razza e potrebbe aggiungere un bias al modello predittivo.

Presenza o assenza di intervento umano

La modifica dei dati di addestramento influisce sul comportamento del modello e può aggiungere o rimuovere i bias. Possiamo rimuovere dati di qualità scadente o punti dati sovrarappresentati, aggiungere etichette o modificare categorie oppure escludere fattori specifici, come l'età e la razza. Possiamo anche lasciare il modello invariato, il che, a seconda delle circostanze, può lasciare spazio a bias.

Gli stakeholder di un sistema di IA dovrebbero avere la possibilità di dare un feedback sui consigli che genera. Il feedback può essere implicito (ad esempio il sistema consiglia un libro che al cliente potrebbe piacere ma il cliente non lo acquista) o esplicito (ad esempio il cliente mette "mi piace" su un consiglio). Questo feedback addestra il modello a fare di più o di meno di ciò che ha appena fatto. In base al GDPR, i cittadini della UE devono anche poter correggere i loro dati personali a disposizione di un'azienda e chiedere all'azienda di eliminarli. Anche se non è richiesto dalla legge, questa è una buona prassi in quanto assicura che la tua IA dia consigli in base a dati accurati e rafforza la fiducia del cliente.

L'IA può amplificare il bias

I modelli di addestramento dell'IA basati su set di dati che contengono bias, spesso hanno l'effetto di amplificarli. In un caso, un set di dati che conteneva foto ritraeva il 33% di donne in più, rispetto agli uomini, occupate a svolgere attività di cucina, ma l'algoritmo aveva amplificato quel bias fino al 68%. Per saperne di più, vedi il post del blog nella sezione Risorse.