Comprender el uso ético de la tecnología

Objetivos de aprendizaje

Después de completar esta unidad, podrá:

• Definir el sesgo y la equidad.
• Construir un equipo con diversidad para evitar el sesgo y las brechas.
• Traducir los valores de la compañía en procesos.
• Describir la importancia de comprender a sus clientes para realizar un diseño alineado con la ética.

Diseño y desarrollo tecnológico responsable

Estamos empezando a comprender cómo afecta la tecnología emergente a la sociedad. Se presentaron diversos problemas, desde preguntas sobre la automatización que resta puestos de trabajo hasta la especulación sobre los efectos evolutivos de las redes sociales.  

Muchas industrias están regidas por estándares, protocolos y regulaciones pensadas para garantizar que sus productos tienen una repercusión positiva en la sociedad. Los médicos, por ejemplo, siguen en Juramento Hipocrático y tienen comités de evaluación establecidos para garantizar prácticas éticas. La industria del automóvil está sujeta a leyes de conducción y estándares de seguridad en los cinturones de seguridad y los airbags. De forma más general, en 2011 las Naciones Unidas presentaron los Principios rectores para los negocios y los derechos humanos, que definen las responsabilidades que los negocios y los estados tienen para proteger los derechos y libertades de todas las personas.

En Salesforce, comprendemos que tenemos una responsabilidad más amplia con la sociedad, y aspiramos a crear tecnología que no solo impulse el éxito de nuestros clientes, sino que dirija también un cambio social positivo y beneficie a la humanidad. Salesforce estableció la Oficina de Ética y Uso Humano para trazar una senda en la Cuarta Revolución Industrial ayudando a nuestros clientes a utilizar nuestra tecnología para tener una repercusión positiva. Este esfuerzo se cimenta sobre los valores principales de Salesforce (confianza, éxito de los clientes, innovación, igualdad y sostenibilidad).

En lo referente a la ética en la tecnología, las preguntas nunca fueron tan urgentes, y depende de todos nosotros encontrar las soluciones.

¿Qué significa estar sesgado o ser justo?

Cuando crea o utiliza tecnología que utiliza especialmente inteligencia artificial o automatización, es importante preguntarse preguntas sobre el sesgo y la equidad.

En Salesforce, pensamos en el sesgo como "errores sistemáticos y repetibles en un sistema informático que producen resultados injustos de forma diferente a la función prevista del sistema, debido a suposiciones inexactas en el proceso de aprendizaje automático". En el contexto de los datos estadísticos, el sesgo es una desviación sistemática de la verdad o el error. Desde una perspectiva social y legal, la catedrática e investigadora Kate Crawford define el sesgo como “Juicio basado en nociones o prejuicios preconcebidos, contrariamente a la evaluación imparcial de los hechos”. 

La equidad se define como una decisión tomada libre de intereses propios, prejuicios o favoritismo. En la realidad, es casi imposible que una decisión sea completamente justa. Un jurado en la Conferencia de la Asociación de maquinaria de computación sobre la Equidad, la Responsabilidad y la Transparencia en 2018 desarrolló una lista de más de 21 definiciones de equidad. Si hay tantas formas de pensar sobre la equidad, ¿cómo discernir si los humanos o las máquinas están tomando decisiones ecuánimes? 

Para tomar una decisión más fundamentada, es crucial comprender la repercusión de esa decisión. Una decisión que beneficia al mayor número de personas aún excluye a una minoría, lo que es injusto si esa minoría se pasa a menudo por alto. Es necesario preguntarse: ¿Hay algunas personas o grupos afectados desproporcionadamente por una decisión? ¿Hace el sesgo sistémico en decisiones pasadas o datos imprecisos a algunos grupos menos proclives a recibir una evaluación justa o imparcial? Si la respuesta es afirmativa, deberá decidir si debe perfeccionar para proteger a esas personas y el modo de hacerlo, incluso no beneficiando a la mayoría.

¿Existe algo que se pueda considerar "Buen" sesgo?

Algunos podrían argumentar que no todo el sesgo tiene que ser malo. Por ejemplo, supongamos que una compañía farmacéutica fabrica un medicamento contra el cáncer de próstata y solo se dirigen a hombres en sus campañas de marketing. La compañía cree que el objetivo de su campaña de marketing es un ejemplo de un buen sesgo porque está proporcionando un servicio al no molestar a audiencias femeninas con anuncios irrelevantes. Pero si el conjunto de datos de la compañía solo incluía personas cisgénero, o fracasó en reconocer identidades adicionales (por ejemplo, no binario, mujer transgénero, hombre transgénero y personas sin género), probablemente esté excluyendo otras personas que podrían beneficiarse de la visualización del anuncio. Incorporando una comprensión más compleja y precisa del género y la identidad de género, la compañía estaría mejor preparada para alcanzar a todo el que podría beneficiarse del medicamento.

Crear una cultura ética

La mayoría de las compañías no salen a ofender o hacer daño. Pero lo pueden hacer de forma no intencionada si no definen sus valores principales y ponen en marcha procesos para asegurarse de que todos en la compañía están trabajando en consonancia con ellos. Definiendo valores, procesos e incentivos, los líderes pueden influenciar la cultura en sus compañías. Los líderes pueden y deben enseñar a estudiantes y empleados cómo aplicar la ética a sus funciones laborales, pero si la cultura de la compañía no es saludable, es como plantar un árbol sano en un huerto arruinado. A la larga, incluso el árbol sano dará malas manzanas. Los líderes deben recompensar el comportamiento ético detectando y deteniendo al mismo tiempo el comportamiento no ético. 

Es importante recordar que todos somos líderes en este ámbito. Usted puede marcar la diferencia presentando y manteniendo una cultura ética con un enfoque de extremo a extremo. 

1. Construya equipos con diversidad.
2. Traduzca valores en procesos.
3. Comprenda a sus clientes.

Construir equipos con diversidad

La investigación muestra que los equipos con diversidad (en el espectro de la experiencia, la raza, el género y la capacidad) son más creativos, diligentes y esforzados. Una organización que incluye más mujeres en todos los niveles, especialmente en la alta gerencia, habitualmente tiene beneficios más altos. Para conocer más detalles, consulte la sección Recursos al final de esta unidad. 

Todo lo que creamos representa nuestros valores, experiencias y sesgos. Por ejemplo, los sistemas de reconocimiento facial a menudo tienen más dificultad para identificar las caras negras o marrones que las blancas. Si los equipos que crean dicha tecnología hubiesen tenido más diversidad, probablemente hubieran reconocido y solucionado este sesgo. 

Los equipos de desarrollo deberían esforzarse en la diversidad en todas las áreas, desde la edad y la raza a la cultura, la educación y la capacidad. La falta de diversidad puede crear una cámara de resonancia que da como resultado productos sesgados y brechas en las funciones. Si no es capaz de contratar a miembros de equipos con diversidad, considere buscar impresiones de grupos con poca representación en su compañía y base de usuarios.

Un sentido de comunidad forma también parte del trabajo preparatorio en una compañía. Ninguna persona debería ser la única responsable de actuar de manera ética o fomentar la ética. En su lugar, la compañía como un todo debería ser consciente y respetuosa con la ética. Los empleados deberían sentirse cómodos cuestionando el estado de las cosas y alzando sus voces, lo que puede identificar riesgos para su negocio. Los miembros de los equipos deberían formular preguntas éticas específicas de su ámbito, como: 

• Gestores de productos: ¿Cuál es la repercusión de negocio de un falso positivo o un falso negativo en nuestro algoritmo?
• Investigadores: ¿Quién se ve afectado por nuestro sistema y cómo? ¿Cómo puede hacerse un mal uso de él? ¿Cómo pueden las personas intentar romper el producto y utilizarlo de formas no deseadas? ¿Cuál es el contexto social en el que se utiliza?
• Diseñadores: ¿Sobre qué estándares o suposiciones estoy construyendo el producto? ¿Lo estoy diseñando para la transparencia y la igualdad?
• Científicos de datos: ¿Cuáles son las implicaciones para los usuarios cuando optimizo mi modelo de esta manera?
• Redactores de contenido: ¿Puedo explicar por qué el sistema realizó una predicción, recomendación o decisión en términos que el usuario pueda comprender?
• Ingenieros: ¿Qué notificaciones, procesos, comprobaciones o mecanismos de seguridad podemos construir en el sistema para mitigar los daños?

Observe que estas preguntas llevan aparejadas las perspectivas de múltiples funciones. Involucrar a las partes interesadas y miembros de equipos en cada fase del ciclo de vida del desarrollo del producto ayuda a corregir la repercusión de las desigualdades sociales sistémicas en nuestro sistema. Si se encuentra en un equipo al que le falta cualquiera de estas funciones o donde desempeña varias funciones, es posible que tenga que ponerse varias chaquetas para garantizar que cada una de estas perspectivas se incluya, y eso puede conllevar la búsqueda de asesoramiento externo. Cuando los empleados no están satisfechos con las respuestas que reciben, debería haber un proceso claro para resolver las áreas problemáticas, como un comité de evaluación. Entraremos en más detalles luego. 

Traducir valores en procesos

Casi todas las organizaciones tienen un conjunto de valores diseñados para guiar la toma de decisiones de sus empleados. Hay tres maneras de poner esto en práctica.

1. Estructuras incentivas
2. Recursos
3. Documentación y comunicación

Estructuras incentivas

Las estructuras incentivas recompensan a los individuos por comportamientos específicos o la consecución de objetivos específicos. Las estructuras incentivas deberían ser informadas por valores institucionales. No pocas veces se recompensa a los empleados en base a las ventas, la obtención de clientes y la participación de usuarios. Estas mediciones a veces pueden ir en contra de la toma ética de decisiones. 

Si una organización desea premiar comportamientos en línea con sus valores, las estructuras incentivas posibles pueden incluir recompensas éticas. Del mismo modo que los incentivos por detección de fallos, las recompensas éticas premian a los empleados cuando identifican decisiones, procesos o características que están en contra de los valores de la compañía o que causan daños a otros o bien premian a representantes de ventas que comparten preocupaciones sobre contratos con clientes y evitan posibles riesgos de relaciones públicas o legales.

También puede incluir cuestiones sobre el desarrollo de tecnología ética en su proceso de contratación. Esto establece la expectativa para los nuevos empleados de que la cultura ética que está construyendo es importante para la compañía y que ese pensamiento y comportamiento ético se ve recompensado.

Apoyo a los empleados 

Las organizaciones responsables proporcionan recursos para apoyar a los empleados y empoderarlos para que tomen decisiones en línea con los valores de la compañía. Esto puede incluir la educación de los empleados (Trailhead es un excelente recurso para ello) y comités de evaluación para resolver problemas difíciles y garantizar que los empleados están siguiendo las directrices. 

En Salesforce tenemos un comité de evaluación de ciencia de los datos, que proporciona impresiones sobre la calidad y las consideraciones éticas de nuestros modelos de IA, datos de entrenamiento y las aplicaciones que los utilizan. 

Mientras construye una cultura ética que dé la capacidad a los empleados para alzar sus voces cuando tengan problemas éticos, es posible que también considere la creación de un proceso claro y anónimo para que los empleados envíen sus preocupaciones. Finalmente, las listas de comprobación son estupendos recursos para fomentar el debate y garantizar que no pasa por alto cuestiones importantes. Las listas de comprobación, aunque son coherentes y fáciles de implementar, son raras veces exhaustivas y deben ser claras y viables para ser útiles. Debido a que permiten a los empleados tener pláticas difíciles, las listas de comprobación ayudan a su compañía a construir una cultura ética desde sus cimientos. 

Documentación y comunicación

Documente la toma de decisiones para la transparencia y la coherencia. Si un equipo se encuentra en un cruce de caminos ético, la documentación de lo que se decide y el por qué permite a los equipos futuros aprender de esa experiencia y actuar de forma coherente en vez de arbitrariamente. La documentación y la comunicación también dan a sus empleados y partes interesadas la confianza en su proceso y las decisiones resultantes.

Comprender a sus clientes

Huelga decir que es necesario que comprenda a todos sus clientes. En caso contrario, podría estar diseñando productos que ignoran una parte de su base de usuarios o que provoca daños en algunos usuarios sin que usted gane nada. Pregúntese, ¿de quién ha supuesto necesidades y valores en vez de consultarlas? ¿Quién está en mayor riesgo de sufrir daños y por qué? ¿Hay personas nocivas que podrían utilizar intencionadamente su producto para provocar daños o personas que podrían utilizarlo ignorantemente y provocar daños accidentalmente? Una vez conozca las respuestas a esas preguntas, podrá trabajar en la solución de estos problemas. Recomendamos hacer contacto con un investigador de usuarios para aprender más sobre sus clientes.

Recursos

• Publicación de blog: Salesforce infunde ética en la IA
• Artículo: Science: Companies With Women in Top Management Are Much More Profitable
• Artículo: Why We Need Women in Tech
• Trailhead: Fundamentos de investigación UX