Descubra cómo Salesforce crea IA de agentes de confianza
Objetivos de aprendizaje
Después de completar esta unidad, podrá:
- Definir qué es una IA de agentes de confianza.
- Describir los riesgos principales asociados a los agentes.
- Explicar los principios rectores para que la IA de agentes sea responsable.
Antes de empezar
Le recomendamos que revise estas insignias para comprender mejor la gobernanza y las estrategias de confianza para las soluciones de IA.
¿Qué es la IA de agentes de confianza?
En Salesforce, la confianza es nuestro valor principal. Y eso también se aplica a nuestra IA de agentes. La IA de agentes de Salesforce se ha creado según las directrices de Salesforce para la IA responsable, la base para abordar los retos emergentes asociados al rápido crecimiento de los agentes de IA en nuestra plataforma.
Aunque los valores y los principios rectores son fundamentales, también es muy importante respaldarlos con acciones concretas. Eso es lo que ha hecho Salesforce con la implementación de la Capa de confianza de Einstein, las protecciones de Agentforce y los patrones de confianza. Además, empleamos una evaluación de las vulnerabilidades éticas y la AI Acceptable Use Policy (AUP) para garantizar que los sistemas de IA funcionen según parámetros seguros y éticos. Estas medidas no solo refuerzan los valores de la empresa, sino que también proporcionan una base sólida para la generación y el mantenimiento de la confianza en las tecnologías de IA.
Antes de empezar a hablar sobre la manera en la que Salesforce puede ayudar a crear agentes de confianza, vamos a asegurarnos de que usted comprende toda la terminología.
Agentforce
Agentforce es la marca de la capa de agentes de Salesforce Platform y abarca los agentes que funcionan de cara a los clientes y de cara a los empleados.
Agentes
Los agentes son autónomos, están orientados hacia un objetivo y realizan tareas e interacciones empresariales con la mínima intervención humana. Pueden iniciar y completar una tarea o una secuencia de varias de ellas, llevar a cabo conversaciones en lenguaje natural y proporcionar respuestas pertinentes de forma segura a partir de datos empresariales. Los agentes se pueden utilizar para respaldar y colaborar con un usuario de Salesforce en el flujo de trabajo. También pueden actuar en nombre de un usuario o cliente. Pueden estar disponibles en su interfaz de Salesforce o en sus canales de clientes.
IA de agentes
La IA de agentes es un sistema de IA que permite que los agentes de IA trabajen de manera autónoma, tomen decisiones y se adapten al cambio. Fomenta la colaboración entre los agentes de IA y las personas reales proporcionando herramientas y servicios que facilitan el aprendizaje y la adaptación.
Principios rectores para IA de agentes responsable
Salesforce se compromete a desarrollar y utilizar agentes de forma responsable. Veamos cuáles son nuestros principios clave.
Precisión
Nuestro motor de razonamiento, el cerebro detrás de Agentforce, utiliza la clasificación de temas para asignar una solicitud de un usuario a temas específicos. El tema incluye un conjunto de instrucciones, políticas empresariales y acciones que un agente puede llevar a cabo. De esta manera, el agente se mantiene en la tarea que debe realizar.
Mediante el proceso de anclaje de datos, incluido el contexto pertinente de su organización de Salesforce en la solicitud, los agentes utilizan los datos de su organización en Salesforce para basar sus respuestas a fin de mejorar la precisión y la relevancia. De esta manera, los agentes pueden sacar el máximo partido de los datos de Salesforce de su organización a la hora de generar sus respuestas.
Seguridad
Nuestros agentes cuentan con protecciones integradas a fin de evitar que se produzcan consecuencias no intencionadas y garantizar que las respuestas sean seguras.
- Contamos con políticas del sistema para limitar el alcance de las respuestas de los agentes, garantizando así que se mantengan en el tema y respondan de manera segura y ética. Consulte la sección de defensa de solicitudes en el tema de ayuda Capa de confianza de Einstein.
- La Capa de confianza de Einstein detecta contenido dañino en la respuesta del agente y lo registra en el seguimiento de auditoría, de manera que usted puede supervisar y responder en consecuencia.
- Contamos con una política de cero retención de datos con proveedores de modelos de lenguaje grandes (LLM) de terceros para asegurarnos de que los daños no se retengan fuera de los límites de confianza de Salesforce. La política de cero retención de datos y nuestros compromisos contractuales con los proveedores de LLM garantizan que los datos no se utilicen para entrenar a los LLM de terceros.
Honestidad
Respetamos la fuente de datos y la utilizamos bajo consentimiento. Somos transparentes en cuanto al contenido generado por IA y siempre indicamos si se trata de un contenido creado por IA. Cuando la respuesta se genera mediante IA, incluimos una aclaración estándar a fin de ser transparentes con los usuarios.
Empoderamiento
Nos centramos en la asociación entre las personas humanas y la IA. La IA debe respaldar a las personas, especialmente en las tareas en las que se requiere el criterio humano. Algunas tareas pueden automatizarse por completo, pero otras necesitan la supervisión de una persona real. Capacitamos a las personas para que tomen decisiones que conlleven riesgos y automatizamos las tareas rutinarias, con lo cual se garantiza que las personas y la IA trabajen juntas de forma eficaz.
Sostenibilidad
El objetivo es crear modelos de IA eficaces que reduzcan el impacto medioambiental. Los modelos más pequeños y bien entrenados suelen superar a los más grandes. También utilizamos hardware eficaz y centros de datos bajos en carbono. Los agentes utilizan modelos optimizados, como xLAM y xGen-Sales, personalizados para realizar tareas específicas, lo cual asegura un alto rendimiento con un impacto medioambiental mínimo.
Siguiendo estos principios, diseñamos agentes en los que se puede confiar, que son seguros, transparentes, útiles y sostenibles. En Salesforce, nos comprometemos a utilizar la IA para mejorar las capacidades humanas a la vez que mantenemos nuestros valores principales.
Riesgos y preocupaciones clave
A medida que los sistemas de IA se vuelven más autónomos, la posibilidad de no utilizarlos bien y de que haya consecuencias no intencionadas aumenta. Garantizar que estos sistemas funcionen de forma ética y transparente es fundamental para mantener la confianza del usuario y protegerse contra los daños. Veamos algunos de los principales riesgos que se deben considerar.
Consecuencias no intencionadas
Las acciones autónomas de los agentes de IA pueden provocar resultados inesperados y potencialmente dañinos. Entre ellos pueden incluirse la generación de contenido sesgado u ofensivo, la toma de decisiones incorrectas o la interacción con los usuarios de maneras que no se alineen con las directrices éticas de Salesforce. Las interacciones entre la programación de IA y los patrones aprendidos puede desencadenar acciones no anticipadas o no deseadas, mermar la confianza y generar preocupación en cuanto a la seguridad.
Seguridad y privacidad
La seguridad y la privacidad son fundamentales, especialmente porque los agentes manejan datos confidenciales. Si no se diseñan con las consideraciones de seguridad apropiadas, podría producirse la pérdida de datos confidenciales, lo que pondría en peligro la confianza del usuario.
Consideraciones éticas y legales
Los agentes deben ceñirse a las políticas y requisitos legales. Garantizar que los agentes actúen de forma ética y cumplan las leyes es fundamental para evitar tener problemas legales y mantener la confianza.
Pérdida del control humano
A medida que los agentes se vuelven más autónomos, mantener la supervisión puede ser un reto para las personas humanas. Esto puede provocar que se produzcan errores e incumplimiento éticos, además de dañar la reputación de los usuarios y de la plataforma.
Sesgo de automatización
Los usuarios pueden confiar demasiado en los resultados de la IA, dando por hecho que siempre serán precisos y fiables. La generación aumentada por recuperación (RAG) puede incluso aumentar este sesgo haciendo que los resultados de la IA parezcan altamente autorizados y creíbles, incluso cuando sean erróneos. Este exceso de confianza puede hacer que se produzcan errores.
Aumento del uso erróneo por parte de los usuarios
Cuantos más usuarios interactúen con la IA generativa, mayor será la probabilidad de que se utilice de forma incorrecta. Es posible que los usuarios exploten la IA con fines dañinos o que no comprendan cuál es su uso adecuado, lo que podría ocasionar problemas como la generación inapropiada de contenido o la violación de la privacidad.
Utilizamos un conjunto de estrategias de mitigación. Creamos protecciones en nuestra plataforma y en nuestros productos, y llevamos a cabo pruebas contradictorias mediante la evaluación de las vulnerabilidades y el desarrollo de una política de uso apropiado de IA que nos ayude a protegerle. Además, le proporcionamos la capacidad de personalizar las protecciones en los productos a fin de garantizar que estas reflejen los valores de su organización y los requisitos de cumplimiento. Hablaremos de ello con más detalle en las dos unidades siguientes.
En esta unidad, ha aprendido sobre los agentes autónomos y los riesgos asociados. También ha explorado los principios y las prácticas fundamentales para desarrollar agentes de IA y cómo se diseñan las protecciones en Salesforce. En la siguiente unidad, aprenderá cómo se utilizan las protecciones de Agentforce y los patrones de confianza para implementar IA de agentes de confianza.