Descubrir cómo Salesforce crea una IA de agentes de confianza
Objetivos de aprendizaje
Después de completar esta unidad, podrá:
- Definir lo que significa la IA de agentes de confianza.
- Describir los principales riesgos asociados con los agentes.
- Explicar los principios orientadores para la IA de agentes responsable.
Antes de empezar
Le recomendamos que revise estas insignias para tener un mejor entendimiento sobre la gobernanza y las estrategias de confianza para las soluciones de IA.
¿Qué es la IA de agentes de confianza?
En Salesforce, la confianza es nuestro valor principal. Y eso se aplica también a nuestra IA de agentes. La IA de agentes de Salesforce está integrada en las directrices de Salesforce para una IA responsable, la base para solucionar los desafíos emergentes asociados con el crecimiento rápido de agentes de IA en nuestra plataforma.
Si bien los valores y principios orientadores son esenciales, es igual de importante respaldarlos con acciones concretas. Salesforce lo logró con la implementación de la Capa de confianza de Einstein, las salvaguardas de Agentforce y los patrones de confianza. Además, implementamos el equipo rojo ético y la Política de uso aceptable de la IA (AUP) para garantizar que los sistemas de IA operen dentro de los parámetros de seguridad y éticos. Estas medidas no solo refuerzan los valores de la compañía, sino que también brindan una base sólida para crear y mantener la confianza en las tecnologías de IA.
Antes de hablar sobre crear un Agentforce de confianza con Salesforce, asegurémonos de que entienda la terminología.
Agentforce
Agentforce es el nombre del ecosistema de agentes de Salesforce Platform que abarca agentes que tienen trato con clientes y empleados.
Agentes
Los agentes son autónomos, están orientados a objetivos y ejecutan tareas e interacciones de negocios con la menor intervención humana. Pueden iniciar y completar una tarea o secuencia de tareas, llevar adelante pláticas en lenguaje natural y brindar de forma segura respuestas relevantes obtenidas a partir de datos de negocios. Los agentes se pueden usar para asistir a un usuario de Salesforce y colaborar en el flujo de trabajo. También pueden actuar en nombre de un usuario o cliente. Pueden estar disponibles en su interfaz de Salesforce o en sus canales de clientes.
IA de agentes
La IA de agentes es un sistema de IA que permite a los agentes de IA operar de forma autónoma, tomar decisiones y adaptarse a los cambios. Promueve la colaboración entre agentes de IA y humanos mediante herramientas y servicios que facilitan el aprendizaje y la adaptación.
Principios orientadores para una IA de agentes responsable
Salesforce se compromete a desarrollar y usar los agentes de forma responsable. Estos son nuestros principios clave.
Precisión
Nuestro motor de razonamiento, el cerebro de Agentforce, usa la clasificación de temas para asignar la solicitud de un usuario a temas específicos. El tema incluye un conjunto de instrucciones, políticas de negocios y acciones que puede abordar un agente. Esto mantiene al agente enfocado en la tarea que le corresponde.
Con el proceso de fundamentación, incluido el contexto relevante de su Salesforce org en la solicitud, los agentes usan los datos de su organización en Salesforce para basar su respuesta y mejorar la precisión y relevancia. De esta forma, los agentes pueden aprovechar al máximo los datos de Salesforce de su organización cuando se generan respuestas.
Seguridad
Nuestros agentes tienen salvaguardas integradas para evitar consecuencias inesperadas y garantizar respuestas seguras.
- Tenemos políticas de sistema para limitar el ámbito de las respuestas de los agentes y, así, garantizar que se mantengan en tema y respondan de forma ética y segura. Consulte la sección de defensa de solicitudes en Capa de confianza de Einstein.
- La Capa de confianza de Einstein detecta contenido dañino en las respuestas del agente y lo registra en la traza de auditoría para que usted pueda supervisar y actuar en consecuencia.
- Tenemos una política de retención de datos cero con proveedores de modelos de lenguaje grandes (LLM) de terceros para garantizar que sus datos no se almacenen fuera del límite de confianza de Salesforce. La política de retención de datos cero y nuestros compromisos contractuales con los proveedores de LLM garantizan que sus datos no se usen para el entrenamiento de LLM de terceros.
Honestidad
Respetamos la fuente de datos y solicitamos consentimiento para usarlos. Somos transparentes sobre el contenido generado con IA, y aclaramos cuando se creó con IA. Incluimos divulgaciones estándares cuando la IA genera la respuesta para que sea transparente para los usuarios.
Empoderamiento
Nos enfocamos en la asociación entre los humanos y la IA. La IA debe asistir a los humanos, en especial, con las tareas que requieren criterio humano. Algunas tareas se pueden automatizar por completo, mientras que otras necesitan supervisión humana. Empoderamos a las personas para que tomen decisiones críticas mientras automatizan las tareas rutinarias para garantizar que los humanos y la IA trabajen en conjunto de forma eficiente.
Sostenibilidad
Nuestro objetivo es crear modelos de IA eficientes para reducir el impacto ambiental. En general, los modelos más pequeños y mejor entrenados superan el rendimiento de los modelos más grandes. También usamos hardware eficiente y centros de datos de baja emisión de carbono. Los agentes usan modelos optimizados, como xLAM y xGen-Sales, diseñados para tareas específicas que garantizan un alto rendimiento con mínimo impacto ambiental.
En función de estos principios, diseñamos agentes que son confiables, seguros, transparentes, sostenibles y que promueven el empoderamiento. En Salesforce, estamos comprometidos a usar la IA para mejorar las capacidades humanas mientras respetamos nuestros valores principales.
Riesgos clave e inquietudes
A medida que los sistemas de IA se vuelven más autónomos, aumenta la probabilidad de uso inadecuado y consecuencias inesperadas. Es esencial garantizar que estos sistemas operen de forma ética y transparente para mantener la confianza de los usuarios y protegerlos de cualquier daño. Estos son algunos de los riesgos clave que se deben tener en cuenta.
Consecuencias inesperadas
Las acciones autónomas de los agentes de IA pueden generar resultados inesperados y posibles dañinos. Algunos pueden ser la generación de sesgos o contenido ofensivo, la toma de decisiones incorrectas o la interacción con los usuarios de formas que no se alinean con las directrices éticas de Salesforce. Las interacciones entre la programación de la IA y los patrones aprendidos pueden generar acciones inesperadas o no deseadas, y debilitar la confianza y crear inquietudes sobre la seguridad.
Seguridad y privacidad
La seguridad y privacidad son esenciales, en especial, porque los agentes trabajan con datos confidenciales. Cuando se diseñan sin tener en cuenta las consideraciones adecuadas sobre seguridad, pueden provocar la fuga inadvertida de datos confidenciales y perjudicar la confianza de los usuarios.
Consideraciones éticas y de seguridad
Los agentes deben adherirse a las políticas y los requisitos legales. Garantizar que los agentes actúen de forma ética y que cumplan con las normativas es esencial para evitar problemas legales y mantener la confianza.
Pérdida de control humano
A medida que los agentes se vuelven más autónomos, es más difícil que los humanos mantengan la supervisión. Como consecuencia, se generan errores, vulneraciones éticas y daños a los usuarios y a la reputación de la plataforma.
Sesgo de automatización
Los usuarios pueden confiar demasiado en los resultados de la IA y pensar que son siempre precisos y de confianza. La Generación aumentada de recuperación (RAG) puede realzar este sesgo, ya que genera resultados de IA que parecen altamente oficiales y creíbles, incluso cuando no son correctos. Esta confianza excesiva puede generar errores.
Aumento del uso inadecuado por parte de los usuarios
Mientras más usuarios interactúen con la IA generativa, más posibilidades hay de que se use de forma inadecuada. Los usuarios podrían aprovechar la IA para fines dañinos o no entender su uso adecuado y así generar problemas, como la generación inadecuada de contenido o invasión a la privacidad.
Utilizamos una amplia gama de estrategias de mitigación. Creamos salvaguardas para nuestros productos y plataforma, realizamos pruebas adversas a través del equipo rojo y desarrollamos una Política de uso aceptable de la IA para protegerlo. También ofrecemos la posibilidad de personalizar las salvaguardas para el producto a fin de garantizar que reflejen los valores y requisitos de cumplimiento de su organización. Hablaremos más en profundidad sobre esto en las próximas dos unidades.
En esta unidad, aprendió sobre los agentes autónomos y los riesgos asociados. También exploró los principios y las prácticas fundamentales para desarrollar agentes de IA y descubrió cómo se diseñan las salvaguardas en Salesforce. En la próxima unidad, descubrirá cómo se usan las salvaguardas y los patrones de confianza de Agentforce para implementar la IA de agentes de confianza.