Comprender el uso ético de la tecnología

Objetivos de aprendizaje

Después de completar esta unidad, podrá:

• Definir el sesgo y la equidad.
• Reunir un equipo diverso para evitar el sesgo y las brechas.
• Transmitir los valores de la empresa en los distintos procesos.
• Describir la importancia de comprender a sus clientes para realizar un diseño alineado con la ética.

Diseño y desarrollo tecnológico responsables

Estamos empezando a comprender cómo afecta la tecnología emergente a la sociedad. Se han presentado diversos problemas, desde preguntas sobre la automatización que resta puestos de trabajo hasta la especulación sobre los efectos evolutivos de las redes sociales.  

Muchos sectores se rigen por estándares, protocolos y normativas pensadas para garantizar que sus productos tengan una repercusión positiva en la sociedad. Los médicos, por ejemplo, siguen el Juramento Hipocrático y tienen comités de evaluación establecidos para garantizar prácticas éticas. El sector del automóvil está sujeto a leyes de conducción y estándares de seguridad en los cinturones de seguridad y los airbags. De forma más general, en 2011 las Naciones Unidas presentaron los Principios Rectores sobre las Empresas y los Derechos Humanos de las Naciones Unidas, que definen las responsabilidades que las empresas y los estados tienen para proteger los derechos y libertades de todas las personas.

En Salesforce, comprendemos que tenemos una responsabilidad más amplia con la sociedad, y aspiramos a crear tecnología que no solo impulse el éxito de nuestros clientes, sino que dirija también un cambio social positivo y beneficie a la humanidad. Salesforce estableció el Departamento de Ética y Uso Humano para trazar una senda en la cuarta revolución industrial ayudando a nuestros clientes a utilizar nuestra tecnología para tener una repercusión positiva. Este esfuerzo se cimenta sobre los valores principales de Salesforce (confianza, éxito de los clientes, innovación, igualdad y sostenibilidad).

En lo referente a la ética en la tecnología, las preguntas nunca fueron tan urgentes, y depende de todos nosotros encontrar las soluciones adecuadas.

¿Qué significa estar sesgado o ser justo?

Cuando crea o utiliza tecnología que utiliza especialmente inteligencia artificial o automatización, es importante preguntarse preguntas sobre el sesgo y la equidad.

En Salesforce, entendemos los sesgos como "errores sistemáticos y repetibles en un sistema informático que crea resultados imprecisos, diferentes de la función prevista del sistema, debido a suposiciones erróneas en el proceso de aprendizaje automático". En el contexto de los datos estadísticos, el sesgo es una desviación sistemática de la verdad o el error. Desde una perspectiva social y legal, la catedrática e investigadora Kate Crawford define el sesgo como "Juicio basado en nociones o prejuicios preconcebidos, contrariamente a la evaluación imparcial de los hechos". 

La equidad se define como una decisión tomada libre de intereses propios, prejuicios o favoritismo. En la realidad, es casi imposible que una decisión sea completamente justa. Un jurado en la Conferencia de la Asociación de maquinaria de computación sobre la Equidad, la Responsabilidad y la Transparencia en 2018 desarrolló una lista de más de 21 definiciones de equidad. Si hay tantas formas de pensar sobre la equidad, ¿cómo discernir si los seres humanos o las máquinas están tomando decisiones ecuánimes? 

Para tomar una decisión más fundamentada, es crucial comprender la repercusión de esa decisión. Una decisión que beneficia al mayor número de personas sigue excluyendo a una minoría, lo que es injusto si esa minoría se pasa a menudo por alto. Es necesario preguntarse: ¿Hay algunas personas o grupos afectados desproporcionadamente por una decisión? ¿Hace el sesgo sistémico en decisiones pasadas o datos imprecisos a algunos grupos menos proclives a recibir una evaluación justa o imparcial? Si la respuesta es afirmativa, deberá decidir si debe perfeccionar el sistema para proteger a esas personas y el modo de hacerlo, aunque eso no beneficie a la mayoría.

¿Existe algo que se pueda considerar "buen" sesgo?

Algunos podrían argumentar que no todo el sesgo tiene que ser malo. Por ejemplo, supongamos que una compañía farmacéutica fabrica un medicamento contra el cáncer de próstata y solo se dirigen a hombres en sus campañas de marketing. La compañía cree que el objetivo de su campaña de marketing es un ejemplo de un buen sesgo porque está proporcionando un servicio al no molestar a audiencias femeninas con anuncios irrelevantes. Pero si el conjunto de datos de la compañía solo incluía personas cisgénero, o fracasó en reconocer identidades adicionales (por ejemplo, no binario, mujer transgénero, hombre transgénero y personas sin género), probablemente esté excluyendo otras personas que podrían beneficiarse de la visualización del anuncio. Incorporando una comprensión más compleja y precisa del género y la identidad de género, la compañía estaría mejor preparada para alcanzar a todas las personas que podrían beneficiarse del medicamento.

Crear una cultura ética

La mayoría de las empresas no salen a ofender o hacer daño. Pero lo pueden hacer de forma no intencionada si no definen sus valores principales y ponen en marcha procesos para asegurarse de que todos en la empresa están trabajando en consonancia con ellos. Mediante la definición de valores, procesos e incentivos, los líderes pueden influenciar la cultura de sus empresas. Los líderes pueden y deben enseñar a estudiantes y empleados cómo aplicar la ética a sus funciones laborales, pero si la cultura de la empresa no es saludable, es como plantar un árbol sano en un huerto arruinado. A la larga, incluso el árbol sano dará manzanas malas. Los líderes deben recompensar el comportamiento ético detectando y deteniendo al mismo tiempo el comportamiento no ético. 

Es importante recordar que todos somos líderes en este ámbito. Usted mismo puede marcar la diferencia presentando y manteniendo una cultura ética con un enfoque integral. 

1. Reúna equipos diversos.
2. Convierta valores en procesos.
3. Comprenda a sus clientes.

Reunir equipos diversos

Hay estudios que muestran que los equipos diversos (en el espectro de la experiencia, la raza, el género y la capacidad) son más creativos, diligentes y trabajadores. Una organización que incluye más mujeres en todos los niveles, especialmente en altos cargos, habitualmente tiene beneficios más altos. Para conocer más detalles, consulte la sección Recursos al final de esta unidad. 

Todo lo que creamos representa nuestros valores, experiencias y sesgos. Por ejemplo, los sistemas de reconocimiento facial a menudo tienen más dificultad para identificar las caras negras o marrones que las blancas. Si los equipos que crean dicha tecnología hubiesen tenido más diversidad, probablemente hubieran reconocido y solucionado este sesgo. 

Los equipos de desarrollo deberían esforzarse en la diversidad en todas las áreas, desde la edad y la raza a la cultura, la educación y la capacidad. La falta de diversidad puede crear una cámara de resonancia que dé como resultado productos sesgados y brechas en las funciones. Si no es capaz de contratar a miembros de equipos diversos, considere la opción de buscar impresiones de grupos con poca representación en su empresa y base de usuarios.

Un sentido de comunidad también forma parte del trabajo preparatorio en una empresa. Ninguna persona debería ser la única responsable de actuar de manera ética o fomentar la ética. Por el contrario, la empresa como un todo debería ser consciente y respetuosa con la ética. Los empleados deberían sentirse cómodos cuestionando el estado de las cosas y alzando sus voces, algo que puede ayudar a identificar riesgos para su negocio. Los miembros de los equipos deberían formular preguntas éticas específicas de su ámbito, como: 

• Gestores de productos: ¿Cuál es la repercusión para la empresa de un falso positivo o un falso negativo en nuestro algoritmo?
• Investigadores: ¿Quién se ve afectado por nuestro sistema y cómo? ¿Cómo puede hacerse un mal uso de él? ¿Cómo pueden las personas intentar romper el producto y utilizarlo de formas no deseadas? ¿Cuál es el contexto social en el que se utiliza?
• Diseñadores: ¿Sobre qué estándares o suposiciones estoy desarrollando el producto? ¿Lo estoy diseñando para la transparencia y la igualdad?
• Científicos de datos: ¿Cuáles son las implicaciones para los usuarios cuando optimizo mi modelo de esta manera?
• Redactores de contenido: ¿Puedo explicar por qué el sistema realizó una predicción, recomendación o decisión de forma que el usuario pueda comprenderlo?
• Ingenieros: ¿Qué notificaciones, procesos, comprobaciones o mecanismos de seguridad podemos introducir en el sistema para mitigar los daños?

Observe que estas preguntas implican las perspectivas de múltiples funciones. Involucrar a las partes interesadas y los miembros de equipos en cada fase del ciclo de vida del desarrollo de productos ayuda a corregir la repercusión de las desigualdades sociales sistémicas en nuestro sistema. Si pertenece a un equipo al que le falta cualquiera de estas funciones o donde desempeña varias funciones, es posible que tenga que ponerse varias chaquetas para garantizar que cada una de estas perspectivas se incluya, y eso puede conllevar la búsqueda de asesoramiento externo. Cuando los empleados no están satisfechos con las respuestas que reciben, debería haber un proceso claro para resolver las áreas problemáticas, como un comité de evaluación. Entraremos en más detalles luego. 

Convertir valores en procesos

Casi todas las organizaciones tienen un conjunto de valores diseñados para guiar la toma de decisiones de sus empleados. Hay tres maneras de poner esto en práctica.

1. Estructuras incentivas
2. Recursos
3. Documentación y comunicación

Estructuras incentivas

Las estructuras incentivas recompensan a los individuos por comportamientos específicos o la consecución de objetivos específicos. Las estructuras incentivas deberían fundamentarse en valores institucionales. No pocas veces se recompensa a los empleados en base a las ventas, la obtención de clientes y la participación de usuarios. Estas mediciones a veces pueden ir en contra de la toma ética de decisiones. 

Si una organización desea premiar comportamientos en línea con sus valores, las estructuras incentivas posibles pueden incluir recompensas éticas. Del mismo modo que los incentivos por detección de fallos, las recompensas éticas premian a los empleados cuando identifican decisiones, procesos o características que están en contra de los valores de la empresa o que causan daños a otros o bien premian a representantes de ventas que comparten preocupaciones sobre contratos con clientes y evitan posibles riesgos de relaciones públicas o legales.

También puede incluir cuestiones sobre el desarrollo de tecnología ética en su proceso de contratación. Esto establece la expectativa para los nuevos empleados de que la cultura ética que usted está construyendo es importante para la empresa y que ese pensamiento y comportamiento ético se ve recompensado.

Apoyo a los empleados 

Las organizaciones responsables proporcionan recursos para apoyar a los empleados y les dan las herramientas necesarias para que tomen decisiones en línea con los valores de la empresa. Esto puede incluir la educación de los empleados (Trailhead es un excelente recurso para ello) y comités de evaluación para resolver problemas difíciles y garantizar que los empleados estén siguiendo las directrices. 

En Salesforce tenemos un comité de evaluación de ciencia de los datos, que proporciona impresiones sobre la calidad y las consideraciones éticas de nuestros modelos de IA, datos de entrenamiento y las aplicaciones que los utilizan. 

Mientras trabaja en una cultura ética que dé la capacidad a los empleados para alzar sus voces cuando tengan problemas éticos, es posible que también considere la creación de un proceso claro y anónimo para que los empleados envíen sus preocupaciones. Finalmente, las listas de comprobación son estupendos recursos para fomentar el debate y garantizar que no pasa por alto cuestiones importantes. Las listas de comprobación, aunque son coherentes y fáciles de implementar, rara vez son exhaustivas, y deben ser claras y viables para ser útiles. Debido a que permiten a los empleados tener conversaciones difíciles, las listas de comprobación ayudan a su empresa a construir una cultura ética desde sus cimientos. 

Documentación y comunicación

Documente la toma de decisiones para generar transparencia y coherencia. Si un equipo se encuentra en una encrucijada ética, la documentación de lo que se decide y el por qué permite a los equipos futuros aprender de esa experiencia y actuar de forma coherente en vez de arbitrariamente. La documentación y la comunicación también dan a sus empleados y partes interesadas la confianza en su proceso y las decisiones resultantes.

Comprender a sus clientes

Sobra decir que es necesario que comprenda a todos sus clientes. En caso contrario, podría estar diseñando productos que ignoran una parte de su base de usuarios o que provoca daños en algunos usuarios sin que usted gane nada. Pregúntese, ¿de quién ha supuesto necesidades y valores en vez de consultarlas? ¿Quién está en mayor riesgo de sufrir daños y por qué? ¿Hay personas nocivas que podrían utilizar intencionadamente su producto para provocar daños o personas que podrían utilizarlo de forma ignorante y provocar daños accidentalmente? Una vez conozca las respuestas a esas preguntas, podrá trabajar en la solución de estos problemas. Recomendamos ponerse en contacto con un investigador de usuarios para aprender más sobre sus clientes.

Recursos

• Publicación de blog: How Salesforce Infuses Ethics into its AI
• Artículo: Science: Companies With Women in Top Management Are Much More Profitable
• Artículo: Why We Need Women in Tech
• Trailhead: Fundamentos de investigación de UX