Promover agentes responsables y éticos

Objetivos de aprendizaje

Después de completar esta unidad, podrá:

Implementar estrategias de pruebas y de equipo rojo ético.
Desarrollar principios orientadores y estándares para su organización.

Principios orientadores para agentes responsables

A muchas organizaciones que adoptan la IA les resulta útil establecer principios para una IA responsable antes de desarrollar su estrategia de IA. Con un conjunto de principios de IA, las empresas pueden clarificar su postura en torno a la IA y considerar cómo impacta la tecnología en los empleados, los clientes y la sociedad. Puede usar nuestras directrices como inspiración para desarrollar las suyas según sus necesidades de negocio y casos de uso. Piense acerca de lo que significa la seguridad para su caso de uso. ¿Hay leyes, reglas y normativas específicas de su sector que exigen requisitos de seguridad específicos?

Como recordatorio y para empezar a establecer sus propios principios orientadores, estos son los principios orientadores de Salesforce para desarrollar una IA de confianza.

Precisión
Seguridad
Honestidad
Empoderamiento
Sostenibilidad

Equipo rojo y estrategias de pruebas

Un equipo rojo es un grupo de expertos, en general, expertos en seguridad y ética de IA, que ingresan en los sistemas de la organización para buscar y solucionar problemas de seguridad que implican resultados no deseados.

El equipo rojo se puede definir como “un proceso estructurado para probar los productos y sistemas de IA e identificar capacidades, resultados dañinos o amenazas para la infraestructura”.

Tres manos que sostienen lupas sobre una señal de advertencia con un triángulo que contiene signo de exclamación

Las pruebas son un aspecto clave para garantizar la seguridad y prevenir consecuencias inesperadas. Estos son algunos conceptos clave para tener en cuenta.

Entender los daños para los que quiere realizar pruebas. Establecer los objetivos para probar y alinearlos con sus objetivos de negocio y caso de uso.
Crear un equipo para realizar estas pruebas. Puede incluir expertos internos y externos que posean conocimiento y experiencia en pensamiento adversarial y creación de estrategias de ataque para realizar pruebas.
Realizar pruebas de forma periódica para estar al tanto de la tecnología en constante evolución y el pensamiento adversarial sobre la IA y los agentes.

Así es cómo abordamos el equipo rojo en Salesforce. Salesforce utiliza métodos de equipo rojo manuales y automatizados para que nuestros productos de IA sean más seguros. Realizamos pruebas para buscar usos malintencionados, ataques intencionales a la integridad, como inyecciones de solicitudes, o usos inadecuados accidentales. Recurrimos al equipo rojo de IA para detectar toxicidad y sesgos, y garantizar la seguridad con el objetivo de resguardar a nuestros sistemas en caso de que ocurra cualquier uso malicioso o indebido.

Tipo de prueba

Descripción

Manual

Las personas que realizan las pruebas manuales recurren a la creatividad, la experiencia y el conocimiento especializado para elaborar estrategias de ataque complejas que los sistemas automatizados pueden pasar por alto. Quienes realizan las pruebas también pueden adaptar su enfoque según el entorno, el destino y los objetivos específicos para que los ataques sean más realistas y personalizados.

Automatizado

Las pruebas automatizadas se usan como mejoras, no como reemplazos de pruebas y evaluaciones dirigidas por humanos. Este tipo de prueba usa diálogos, algoritmos y herramientas de software para simular muchos ataques y amenazas en poco tiempo. También explora la superficie de riesgos del sistema analizando la cantidad de riesgos.

Colaboramos con los expertos externos e internos para realizar pruebas de penetración y solucionar riesgos y casos de uso exclusivos de los agentes.

Para obtener una visión más integral, consulte nuestro Blog de equipo rojo responsable.

Comparación referencial de modelos

Al comparar nuestros modelos de IA con los estándares del sector, garantizamos un rendimiento del nivel más alto. Decidimos mejorarlo aún más y publicamos las primeras comparaciones referenciales de LLM para CRM. Estas comparaciones referenciales comparten medidas importantes que nos permiten entender qué tan bien funciona un sistema de IA y ofrecer información a nuestros clientes.

El futuro de las pruebas de ética

El equipo de pruebas y evaluaciones de Salesforce se dedica a garantizar la confianza y seguridad de nuestros productos de IA. A través de minuciosos procesos de pruebas, un equipo rojo proactivo y comparaciones referenciales integrales, buscamos mantener los estándares más altos de integridad de la IA. Al fomentar una cultura de mejoras e innovación continua, nos comprometemos a brindar soluciones de IA en las que nuestros clientes pueden confiar.

Política de uso aceptable de la IA

Salesforce publicó una Política de uso aceptable de la IA (AIAUP) para alinearse con los estándares del sector y nuestros socios, y proteger a nuestros clientes. Para obtener más información, revise nuestra Política de uso aceptable de la IA.

Esta política de Salesforce es esencial para nuestra estrategia de negocios. Es por eso que, antes de su lanzamiento, nos dedicamos a consultar con el subcomité del Concejo asesor de uso ético, nuestros socios, líderes del sector y desarrolladores. Al hacer esto, nuestro objetivo es confiar en innovaciones responsables y proteger a las personas que confían en nuestros productos mientras se desarrollan. La Política de uso aceptable de la IA (AI AUP) de Salesforce es solo el punto de partida, que se enfoca en el uso de IA en productos de Salesforce. Considere crear sus propias reglas o principios de IA para garantizar que su compañía use la IA respetando los valores éticos de su compañía.

Estándares de seguridad de los agentes

Considere estas medidas cuando desarrolle los estándares de seguridad para control de acceso, protección de datos y uso responsable de los agentes en su organización.

Categoría	Tipo	Recomendación
Control de acceso	Controles de acceso estrictos	Implemente los controles de acceso adecuados para garantizar que solo las personas necesarias y que cumplen con los requisitos de negocio estén autorizadas a interactuar con los modelos y servicios de IA generativa. Cuando diseña los agentes, identifique el alcance y las posibles acciones del agente de forma integral para determinar los contextos de ejecución adecuados. Para acciones fundamentales, considere ejecutar agentes en los contextos de usuario de servicio al cliente individuales para implementar controles de acceso detallados y disminuir los posibles riesgos de seguridad.
Control de acceso	Supervisar y auditar	Cree alertas. Supervise y audite el acceso a modelos y servicios de IA generativa con regularidad para detectar y evitar usos no autorizados.
Protección de datos	Controles de integridad	Agregue controles de integridad para los datos internos y externos. Siga las reglas correctas para la seguridad de aplicaciones, copias de seguridad y restauración, y parámetros de configuración básicos.
Uso responsable	Manejo de datos de clientes	Realice pasos para manejar los datos personales de los clientes de forma correcta. Asegúrese de que se recopilen y usen por motivos legítimos, y que los propietarios de los datos hayan sido notificados como corresponde para dar consentimiento.
	Transparencia de los clientes	Garantice que los servicios no infieran en segundo plano con los clientes.
	Moderación de contenido	Proporcione un filtro de moderación de contenido sobre los servicios de IA generativa y habilítelo de forma predeterminada cuando esté disponible.
	Uso ético	Establezca directrices para el uso ético de la IA generativa con el objetivo de garantizar que su uso respete la privacidad y seguridad.

De la teoría a la práctica

En este módulo, abordamos mucho contenido sobre la IA de agentes de confianza y cómo Salesforce la desarrolla. Ahora entiende los riesgos clave asociados con la IA de agentes, como comportamientos inesperados, sesgos y vulneración de datos. También aprendió sobre las salvaguardas y los patrones de confianza específicos que garantizan que los agentes de IA operen dentro de los parámetros de seguridad y éticos. Entiende la importancia de promover prácticas de IA responsables en su propia organización mediante la aplicación del equipo rojo ético, pruebas y una política de uso aceptable de la IA.

Con este conocimiento, podemos comenzar a crear agentes de IA que no solo sean eficientes, sino que también sean de confianza y responsables.

Estimación de tiempo

Temas

¿Necesita ayuda?

Recursos de Agentforce