Crear IA generativa responsable
Objetivos de aprendizaje
Después de completar esta unidad, podrá:
- Enumerar los cinco principios para el desarrollo responsable de la IA generativa.
- Identificar características de la IA generativa de confianza en el producto de Salesforce.
- Describir las mejores prácticas para identificar riesgos éticos y crear protecciones.
IA generativa, un nuevo tipo de inteligencia artificial
Hasta hace poco, la mayoría de las personas que hablaban sobre la IA, se referían a la IA predictiva. Este tipo de inteligencia artificial se enfoca en observar un conjunto de datos existente y realizar predicciones limitadas sobre qué debería ser cierto dada la información a mano. Ahora hay un nuevo jugador en el campo: un tipo de IA emergente que es generativa, no predictiva. ¿La diferencia clave? La IA predictiva analiza tendencias, mientras que la IA generativa crea contenido nuevo.
La IA generativa ofrece una impresionante gama de capacidades: desde pláticas en tiempo real con bots que simulan con eficacia hablar con un agente de soporte en vivo, hasta aplicaciones para expertos en marketing, programadores y pioneros creativos. Además, el momento cultural de la IA generativa hace que los usuarios acudan en masa para ver lo que puede hacer. Esto significa que es probable que la mayoría de nosotros nos encontremos con estos algoritmos en nuestra vida cotidiana, donde pueden desempeñar un papel cada vez más importante.
Con toda la tecnología emergente llega lo desconocido. Tanto si se trata de un mal uso intencionado como de un sesgo accidental, la IA generativa plantea riesgos que es preciso comprender y abordar para aprovechar al máximo esta tecnología.
Conocer los riesgos
En Salesforce, nos enfocamos en diseñar, desarrollar y distribuir tecnologías de forma responsable y confiable. Para hacerlo, anticipamos las consecuencias deseadas e indeseadas de lo que desarrollamos.
Revisemos algunos de los posibles riesgos de la IA generativa.
Precisión
Los modelos de IA generativa son excelentes para realizar predicciones. Los modelos de IA generativa crean contenido nuevo al recopilar gran cantidad de ejemplos de elementos que encajan en las mismas categorías. Pero si bien un modelo puede ser capaz de crear una oración nueva con el estilo de un escritor famoso, no hay forma de saber si la misma oración es, de hecho, verdadera. Esto puede ser un problema cuando los usuarios suponen que las predicciones de una IA son hechos verificados. Resulta ser tanto una característica como un error. Brinda a los modelos las capacidades creativas que capturaron la imaginación en los comienzos. Sin embargo, es fácil confundir algo que parece correcto con algo que es preciso en el mundo real.
Sesgo y toxicidad
Dado que las interacciones humanas pueden involucrar cierto grado de toxicidad (es decir, un comportamiento dañino, como usar insultos o apoyar el fanatismo), la IA replica esa toxicidad cuando no está ajustada para reconocerla y filtrarla. De hecho, puede incluso amplificar el sesgo que encuentra, porque hacer predicciones suele implicar el descarte de datos periféricos. Para una IA, eso puede incluir a comunidades con poca representación.
Privacidad y seguridad
Las dos características más convincentes de la IA generativa son su capacidad para reproducir el comportamiento humano y la velocidad para hacerlo a gran escala. Estas características ofrecen posibilidades increíbles. Pero hay una desventaja: es fácil aprovechar la tecnología para hacer mucho daño con excesiva rapidez. Los modelos tienen una tendencia a “filtrar” los datos de entrenamiento, por lo que exponen información privada sobre las personas representadas en ellos. Además, la IA generativa se puede utilizar para crear emails de phishing creíbles o replicar una voz para omitir la seguridad.
Alteración
Dado todo lo que puede hacer, la IA supone un riesgo para la sociedad incluso cuando funciona según lo previsto. La alteración económica, los cambios de tareas y responsabilidades, y los problemas de sostenibilidad por la intensa potencia informática requerida para que los modelos funcionen tienen implicaciones en los espacios que compartimos.
Confianza: El balance final
La confianza es el valor principal en Salesforce y es nuestra estrella polar al crear e implementar aplicaciones de IA generativa. A modo de guía para este trabajo, creamos un conjunto de principios para desarrollar la responsabilidad de la IA generativa y ayudar a otros a aprovechar el potencial de las tecnologías y protegerse contra sus riesgos.
Precisión: Al igual que otros modelos, la IA generativa realiza predicciones basadas en los datos con los que se entrenó. Eso significa que necesita buenos datos para brindar resultados precisos. Significa, además, que las personas deben estar al tanto de la posibilidad de imprecisiones o incertidumbres en los resultados que arroja una IA.
Seguridad: las evaluaciones de solidez, capacidad de explicación y sesgo, junto con las pruebas de esfuerzo deliberadas para detectar resultados negativos, nos ayudan a mantener a los clientes a salvo de los peligros como la toxicidad y los datos engañosos. También protegemos la privacidad de cualquier información de identificación personal (PII) presente en los datos usados para el entrenamiento. Además, creamos protecciones para evitar un daño adicional (como publicar código en un entorno sandbox en lugar de enviarlo automáticamente a producción).
Honestidad: sus datos no son nuestro producto. Al recopilar datos para entrenar y evaluar nuestros modelos, debemos respetar la procedencia de los datos y asegurarnos de que contamos con el consentimiento para usarlos (por ejemplo, datos de código abierto y proporcionados por el usuario). También es importante notificar a las personas cuando están usando o platicando con una IA, con una marca de agua o una aclaración, para que no confundan un chatbot bien ajustado con un agente humano.
Empoderamiento: en algunos casos es mejor automatizar los procesos por completo. Pero en otros, la IA debe cumplir una función de respaldo para las personas, o en las ocasiones en las que es necesario el criterio humano. Nuestro objetivo es potenciar lo que pueden hacer las personas mediante el desarrollo de una IA que mejore o simplifique su trabajo, y que brinde a los clientes las herramientas y los recursos para comprender la veracidad del contenido que crean.
Sostenibilidad: en cuanto a los modelos de IA, más grande no siempre significa mejor. En algunos casos, los modelos más pequeños y mejor entrenados tienen un mejor desempeño que los modelos más grandes y con menos entrenamiento. Una parte fundamental de la introducción de la IA generativa en nuestro futuro común es encontrar el equilibrio adecuado entre la potencia de los algoritmos y la sostenibilidad a largo plazo.
Las directrices rigen la acción de la IA
Entonces, ¿cómo es cumplir con esos compromisos? Estas son algunas medidas que se están tomando en Salesforce.
Capa de confianza de Einstein: Integramos la Capa de confianza de Einstein en la plataforma de Salesforce para mejorar la seguridad de la IA generativa en Salesforce con controles de datos y privacidad que se integran de manera fluida en la experiencia del usuario final. Para obtener más información, consulte Capa de confianza de Einstein en la Ayuda.
Decisiones de diseño del producto: los usuarios deberían poder confiar en que al usar la IA, obtienen información confiable y la asistencia que les permite satisfacer sus necesidades sin exponerlos al riesgo de compartir algo impreciso o engañoso.
Incorporamos la responsabilidad en nuestros productos. Examinamos todo, desde el color de los botones hasta las limitaciones sobre los resultados mismos a fin de garantizar que hacemos todo lo posible para proteger a los clientes frente al riesgo sin sacrificar las capacidades en las que confían para mantenerse competitivos.
Fricción consciente: los usuarios siempre deben tener la información que necesitan a fin de tomar la mejor decisión para su caso de uso. Ayudamos a nuestros usuarios a adelantarse a los acontecimientos con una fricción no intrusiva, pero aplicada de forma consciente. En este caso, “fricción” significa interrumpir el proceso habitual de completar una tarea para fomentar la reflexión. Por ejemplo, ventanas emergentes en la aplicación para instruir a los usuarios sobre el sesgo, o marcar toxicidad detectada y pedir a los agentes de servicio al cliente que revisen detenidamente la respuesta antes de enviarla.
Red teaming (equipo rojo): Para asegurarnos de que nuestros productos de IA generativa resistan la presión, utilizamos el "red teaming", un proceso que consiste en buscar de manera deliberada vulnerabilidades en un sistema para anticipar y probar cómo los usuarios podrían utilizarlo y abusar de él. Obtenga más información sobre cómo Salesforce crea confianza en nuestros productos mediante la Capa de confianza de Einstein en Trailhead.
Una forma de probar los productos es la realización de “ataques de inyección de solicitudes” mediante la elaboración de solicitudes específicamente diseñadas para hacer que un modelo de IA omita límites o instrucciones establecidos previamente. Anticipar amenazas de ciberseguridad reales como estas es fundamental para ajustar el modelo a fin de resistir ataques reales.
Política de uso aceptable: dado que la IA está en contacto con tantas aplicaciones diferentes, tenemos políticas específicas para nuestros productos de IA. Esto nos permite establecer con transparencia directrices de uso aceptables que garanticen la confianza de nuestros clientes y usuarios finales. Ese enfoque no es nada nuevo: Salesforce ya contaba con políticas de IA diseñadas para proteger a los usuarios, incluida la prohibición del reconocimiento facial y de bots que se hacen pasar como humanos.
A fin de garantizar que los clientes puedan seguir confiando en nuestra tecnología, estamos actualizando nuestras directrices de IA existentes para abordar la IA generativa. Con nuestras reglas actualizadas, todos pueden ver si su caso de uso está admitido, dado que ofrecemos características y productos de IA incluso más avanzados. Puede obtener más información en nuestra Política de uso aceptable.
Avanzar en la trayectoria
La IA generativa está cambiando la forma en que colaboran las personas y los negocios. Si bien no tenemos todas las respuestas, sugerimos algunas mejores prácticas.
Colaborar
Las asociaciones de funciones cruzadas (dentro de las compañías, y entre instituciones públicas y privadas) son esenciales para impulsar un progreso responsable. Nuestros equipos participan de manera activa en comités e iniciativas externas, como el Comité Asesor Nacional de IA (NAIAC) y el Marco de gestión de riesgos del NIST, a fin de contribuir al impulso de toda la industria para crear una IA generativa más confiable.
Incluir perspectivas diversas
A lo largo de todo el ciclo de vida del producto, las diversas perspectivas brindan la información variada necesaria para anticipar de forma eficaz los riesgos y desarrollar soluciones. Ejercicios como la exploración de consecuencias pueden ayudarlo a garantizar que sus productos incluyan voces esenciales en la plática sobre dónde se encuentra hoy la IA generativa y hacia dónde se dirigirá mañana.
Incluso la IA más avanzada no puede predecir cómo esta tecnología dará forma al futuro del trabajo, el comercio y, aparentemente, todo lo demás. Pero mediante el trabajo conjunto, podemos asegurarnos de que los valores centrados en las personas creen una base de confianza a partir de la cual construir un futuro escalable más eficiente.
