Fomente los agentes responsables y éticos

Objetivos de aprendizaje

Después de completar esta unidad, podrá:

Implementar la evaluación de las vulnerabilidades éticas y estrategias de realización de pruebas.
Desarrollar principios rectores y normas para su organización.

Principios rectores para agentes responsables

A muchas organizaciones que adoptan la IA les resulta de utilidad establecer principios de IA responsables antes de desarrollar su estrategia de IA. Con un conjunto de principios de IA, las empresas pueden aclarar su posición respecto a la IA y considerar el impacto de la tecnología en los empleados, los clientes y la sociedad en general. Puede utilizar nuestros principios como inspiración a fin de desarrollar los suyos propios con base en las necesidades y los casos de uso de su empresa. Piense en lo que significa la seguridad para su caso de uso. ¿Existen leyes, reglas y normas específicas en su sector que puedan necesitar requisitos de seguridad específicos?

Como recordatorio, y para que empiece a establecer sus propios principios rectores, estos son los principios rectores de Salesforce para desarrollar IA de confianza:

Precisión
Seguridad
Honestidad
Empoderamiento
Sostenibilidad

Evaluación de las vulnerabilidades y estrategias de realización de pruebas

Un equipo de evaluación de vulnerabilidades es un grupo de expertos, normalmente expertos en seguridad y en ética de la IA, que intenta examinar los sistemas de una organización para encontrar y solucionar problemas de seguridad y de otros tipos que impliquen que se produzcan resultados no deseados.

La evaluación de las vulnerabilidades puede definirse como un proceso estructurado para probar sistemas de IA y productos a fin de identificar capacidades o resultados dañinos y amenazas a la infraestructura.

Tres manos, cada una de ellas sujetando una lupa que apunta a una señal de advertencia con una exclamación dentro de un triángulo.

La realización de pruebas es un aspecto fundamental para garantizar la seguridad y evitar consecuencias no deseadas. Estos son algunos aspectos clave sobre los que hay que pensar.

Conozca los peligros que quiere evaluar. Defina los objetivos de la realización de pruebas y alinéelos con sus objetivos empresariales y su caso de uso.
Cree un equipo para que realice las pruebas. Puede contar con expertos internos y externos que tengan experiencia en ponerse en la piel de los adversarios y en la creación de estrategias de ataque que hay que probar.
Realice pruebas de forma periódica para asegurarse de estar al día con la tecnología en constante evolución y la ideología de los oponentes en cuanto a la IA y los agentes.

Veamos cómo enfocamos la evaluación de las vulnerabilidades en Salesforce. Salesforce utiliza métodos manuales y automatizados para hacer que nuestros productos de IA sean más seguros. Realizamos pruebas para detectar el mal uso, los ataques malintencionados contra la integridad (como los ataques de inyección) o el uso inapropiado accidental. Llevamos a cabo una evaluación de las vulnerabilidades de la IA a fin de detectar toxicidad, sesgos y problemas de seguridad para garantizar que, en caso de que se realice un uso malicioso o inapropiado, el sistema esté a salvo.

Tipo de prueba	Descripción
Manual	Las pruebas manuales utilizan la creatividad, la experiencia y el conocimiento especializado de las personas para elaborar estrategias de ataques complejas que los sistemas automatizados pueden pasar por alto. Las personas que realizan pruebas pueden adaptar su enfoque a entornos, destinos u objetivos específicos, haciendo que los ataques sean más realistas y personalizados.
Automatizada	Las pruebas automatizadas se utilizan como mejora, y no como reemplazo, de las pruebas y evaluaciones llevadas a cabo por personas. Este tipo de pruebas utiliza scripts, algoritmos y herramientas de software para simular muchos ataques o amenazas en un breve periodo de tiempo. Además, explora la superficie de riesgo del sistema teniendo en cuenta la cantidad de riesgos.

Interactuamos con expertos internos y externos para realizar pruebas de penetración y abordar los casos de uso y los riesgos exclusivos de los agentes.

Para obtener una visión más detallada, consulte nuestro blog sobre la evaluación de las vulnerabilidades responsable.

Marco comparativo del modelo

Al comparar nuestros modelos de IA con las normas del sector, podemos garantizar que funcionan al máximo nivel. Hacemos que esto sea aún mejor mediante la publicación de los primeros marcos comparativos de LLM para CRM. Estos marcos comparativos comparten medidas importantes que le ayudan a comprender lo bien que funciona un sistema de IA, además de informar a nuestros clientes.

El futuro de las pruebas éticas

El equipo de pruebas, evaluación y valoración de Salesforce está comprometido a garantizar la confianza y la seguridad de nuestros productos de IA. Mediante rigurosos procesos de pruebas, una evaluación de las vulnerabilidades proactiva y un marco comparativo completo, nos esforzamos por mantener los más altos estándares de la integridad de la IA. Mediante el fomento de una cultura de mejora e innovación continuas, nos comprometemos a proporcionar soluciones de IA en las que puedan confiar nuestros clientes.

Política de uso apropiado de IA

Salesforce ha publicado una política de uso apropiado de la IA (AI AUP) para alinearse con las normas del sector y nuestros patrones, además de proteger a nuestros clientes. Puede obtener más información consultando nuestra política de uso apropiado de la IA.

La política AI AUP de Salesforce es primordial para nuestra estrategia empresarial; por ello, nos hemos tomado el tiempo de consultarla con el subcomité del Ethical Use Advisory Council, los socios, los líderes del sector y los desarrolladores antes de su publicación. De esta forma, pretendemos confiar en la innovación responsable y proteger a las personas que confían en nuestros productos tal y como se han desarrollado. La AI AUP de Salesforce es tan solo el punto de partida y se centra en el uso de la IA en los productos de Salesforce. Considere crear sus propias reglas o principios de IA para garantizar que su empresa utilice la IA de manera que se respeten los valores éticos de su empresa.

Normas de seguridad de agentes

Tenga en cuenta estas medidas de seguridad para desarrollar normas de seguridad para el control del acceso, la protección de los datos y el uso responsable de agentes en su organización.

Categoría	Tipo	Recomendación
Control de acceso	Controles de acceso estrictos	Implemente controles de acceso apropiados para garantizar que solo las personas que necesiten información o tengan otra necesidad empresarial estén autorizadas para interactuar con los modelos y servicios de IA generativa. Al diseñar agentes, identifique por completo el alcance del agente y las posibles acciones a fin de determinar contextos de ejecución apropiados. En cuanto a las acciones críticas, considere ejecutar agentes en contextos de usuarios de servicio individuales para implementar controles de acceso detallados y minimizar los posibles riesgos de seguridad.
Control de acceso	Supervisión y realización de auditorías	Cree alertas, supervise y realice auditorías del acceso a modelos y servicios de IA generativa con frecuencia para detectar el uso no autorizado y evitar que se produzca.
Protección de datos	Controles de integridad	Agregue controles de integridad tanto para los datos de los clientes internos como para los de los clientes externos. Siga las reglas adecuadas de seguridad de aplicaciones, copia de seguridad y restauración, y configuraciones básicas.
Uso responsable	Tratamiento de datos de los clientes	Siga los pasos para tratar los datos personales de los clientes correctamente. Asegúrese de que solo se recopilen y se utilicen por motivos legítimos y compruebe que los interesados hayan dado su consentimiento y estén informados.
	Transparencia de los clientes	Asegúrese de que los servicios no realicen inferencias que no sean visibles para los clientes.
	Moderación del contenido	Proporcione un filtro de moderación del contenido en los servicios de IA generativa y haga que esté habilitado de forma predeterminada siempre que esté disponible.
	Uso ético	Establezca directrices para el uso ético de la IA generativa a fin de garantizar que se utilice de manera que se respete la privacidad y la seguridad.

De la teoría a la práctica

En este módulo, hemos abordado muchos aspectos sobre la IA de agentes de confianza y hemos visto cómo Salesforce desarrolla IA de agentes. Ahora ya conoce los riesgos principales asociados a la IA de agentes, como el comportamiento inesperado, los sesgos y las brechas de datos. También ha aprendido sobre las protecciones específicas y los patrones de confianza que garantizan que los agentes de IA funcionen según los parámetros éticos y de seguridad. Ya conoce la importancia de fomentar prácticas de IA responsables en su propia organización con la evaluación de las vulnerabilidades éticas, la realización de pruebas y la creación de una política de uso aceptable de la IA.

Con todos estos conocimientos, va por buen camino para crear agentes de IA que sean no solo eficaces, sino también fiables y responsables.

Estimación de tiempo

Temas

¿Necesita ayuda?

Recursos de Agentforce