Definir las salvaguardas del agente

Objetivos de aprendizaje

Después de completar esta unidad, podrá:

Describir las salvaguardas que garantizan la fiabilidad de Agentforce.
Identificar los posibles riesgos asociados con su proyecto de Agentforce.
Definir las estrategias de mitigación de riesgos para el proyecto.

Los riesgos de la IA autónoma

Los agentes de IA autónomos son herramientas bastante poderosas que brindan valor a su organización y mejoran la experiencia del cliente. Pero, vienen de la mano de riesgos. Estos riesgos incluyen amenazas a la seguridad, vulneración de datos, daños a la reputación, pérdidas financieras, sesgos, alucinaciones y problemas con la transparencia y responsabilidad.

A pesar de los riesgos, es posible implementar la IA autónoma en su organización de forma segura. Con una planificación adecuada y la ayuda de Salesforce Platform, puede crear e implementar un conjunto completo de agentes de IA de confianza.

Agentes de IA en los que puede confiar

En la IA de agentes de confianza, descubre que una de las funciones destacadas de Agentforce es su énfasis en las salvaguardas. Estas salvaguardas definen los límites operacionales de cada agente; en otras palabras, definen lo que pueden hacer y lo que no. Con el uso de lenguaje natural, puede especificar las directrices para el comportamiento y el funcionamiento del agente.

Además de las salvaguardas del agente de IA, la Capa de confianza de Einstein integrada en Salesforce Platform garantiza que las acciones del agente se alineen con los estándares de seguridad y cumplimiento de su compañía. Incluye mecanismos de detección de daños y toxicidad para prevenir que los agentes participen en actividades inapropiadas o dañinas.

En esta unidad, acompañe a Nora mientras trabaja con el concejo de IA de Coral Cloud para identificar los riesgos asociados con su caso de uso de IA autónoma y desarrollar un plan que solucione esos problemas.

No olvidarse de la gobernanza

Las salvaguardas de Salesforce para los agentes de IA son poderosas y sólidas, pero Nora es consciente de que no todas las salvaguardas de Coral Cloud se encuentran en la misma tecnología. Lo que sucede por fuera de la tecnología es igual de importante.

Cuando Coral Cloud desarrolló su estrategia de IA, el equipo estableció una práctica de gobernanza de IA, que los ayuda a planificar una estrategia de mitigación de riesgos integral para su agente de IA.

El siguiente es un ejemplo de gobernanza de IA: En Coral Cloud, el concejo de IA requiere que todos los proyectos de IA nuevos pasen por una revisión de seguridad. Es un proceso de negocios (no una función tecnológica) que protege a la organización contra riesgos de IA. Nora programa una revisión de seguridad para que la compañía empiece a pensar en mayor profundidad sobre la gobernanza y las salvaguardas del proyecto.

Superar las objeciones

En algunas organizaciones, es difícil abordar el sujeto de riesgo, porque existe una concepción de que las actividades de mitigación de riesgos ralentizan el proceso de desarrollo. Sin embargo, es esencial abordar los riesgos con anticipación, de lo contrario, el proyecto de IA puede anularse antes de que llegue a producción.

Cuando integra la administración de riesgos en el diseño y la creación del prototipo de IA, acelera sus proyectos y garantiza que cumplan con los requisitos éticos, legales, reglamentarios y de seguridad necesarios. Si aprende a administrar los riesgos para un caso de uso, luego, puede aplicar esas lecciones en los próximos casos de uso.

Explicar en términos menos técnicos lo que es un agente y lo que puede hacer por su negocio lo ayuda a formar una base sólida. Esta base se puede aplicar en proyectos futuros para garantizar un proceso de implementaciones de IA más fluido y exitoso.

Cómo encarar pláticas sobre los riegos

¿Cómo afronta las pláticas sobre los riesgos? Le recomendamos que use el marco Personas, Negocio, Tecnología y Datos, que puede resultar familiar para varias organizaciones. Con estas categorías y consideraciones, puede pensar en posibles inquietudes y riesgos relacionados con su proyecto de Agentforce.

Categoría	Consideraciones
Personas	Empoderamiento: funciones y responsabilidades, contratación, capacitación y actualización de habilidades Cultura y práctica: diseño de IA centrado en los humanos, administración de cambios, adopción
Compañía	Valor: beneficios, objetivos, KPI y métricas Operaciones: estructura de la organización, administración de capacidades, procesos y flujos de trabajo, gobernanza de IA, estrategia DevOps
Tecnología	Herramienta de IA: infraestructura de IA, aplicaciones, API, solicitudes, salvaguardas de seguridad Modelos de IA: selección del modelo, consideraciones de entrenamiento, administración, costos
Datos	Calidad: adecuación para su uso, precisión, integridad, accesibilidad, actualización y más Estrategia: administración de datos, infraestructura, gobernanza, análisis de datos

Infografía que muestra cuatro cuadrantes del marco Personas, Negocio, Tecnología y Datos.

Identificar riesgos e inquietudes

Nora usa este marco de trabajo para abordar las inquietudes y los riesgos relacionados con el caso de uso de administración de reservas de Coral Cloud. Las partes interesadas del concejo de IA de Coral Cloud identifican los riesgos y las inquietudes de cada categoría. Tenga en cuenta que esta lista no es exhaustiva y todos los casos de uso incluyen sus propios riesgos e inquietudes.

Categoría	Riesgos
Personas	Rechazo: los clientes no quieren hablar con el agente, porque no confían en él o no están seguros de que tengan permitido usar la IA. Abuso: los clientes son hostiles con el agente o lo quieren manipular. Cultura: miedos sobre el posible impacto de la IA en los trabajos de servicio al cliente, lo que pueda afectar la confianza de los empleados.
Negocio	Apropiado: el alcance del agente no corresponde a la organización de negocio o a los procesos del equipo. Creación de reportes: los KPI actuales del equipo están invalidados debido a la introducción de un agente de IA que hace algo de su trabajo. Incentivos: las estructuras de compensación y recompensas se vieron afectadas por la redirección del trabajo del agente. Operaciones: el proceso de derivación no está claro, no es eficiente o resulta abrumador. Rendimiento de agentes: las políticas apropiadas de la compañía no influyen de forma correcta en las respuestas del agente de IA.
Tecnología	Precisión: las alucinaciones degradan la calidad de las respuestas o el conocimiento no está completo. Fiabilidad: la variedad de respuestas que genera el agente es demasiado amplia. Auditoría: las operaciones de tecnología no pueden realizar un seguimiento de la precisión de las respuestas del agente. Latencia: el agente no ejecuta las respuestas a tiempo.
Datos	Acceso: los permisos de datos no se entendieron o no se aplican; los datos podrían estar expuestos a los clientes. Privacidad: los datos requeridos no se pueden usar según las políticas de privacidad. De cumplimiento: no está claro si se aplica alguna restricción contractual del cliente a los datos; por ejemplo, puede que no esté permitido que los datos salgan del país de negocios del cliente. Adaptado al propósito: los datos no están alineados con el objetivo del agente, o bien los derechos de datos no se alinean con el caso de uso. Ética: los sesgos de los datos del modelo pueden generar respuestas inapropiadas.

En el caso de Nora, se puede ver que las limitaciones en los artículos de la base de conocimientos de su compañía podrían dar forma a su estrategia de adopción. Pero Coral Cloud también podría experimentar varios de los riesgos mencionados. Después de todo, si un agente no respeta las políticas del complejo en sus respuestas o los empleados humanos no tienen forma de realizar un seguimiento del rendimiento de los agentes, será difícil ofrecer una experiencia de cinco estrellas.

Definir estrategias de mitigación de riesgos

Ahora que el concejo de IA de Coral Cloud catalogó los riesgos y las inquietudes, Nora y su equipo pueden pensar en estrategias de mitigación para todos los riesgos. Mientras se les ocurren posibles salvaguardas, las van clasificando para designar si están relacionadas con las personas, el negocio, la tecnología o los datos.

Estos son ejemplos de posibles salvaguardas para dos riesgos que identificó Coral Cloud.

Categoría de riesgo	Riesgo	Posible salvaguarda
Personas	Rechazo del cliente: los usuarios no quieren hablar con el agente, porque no confían en él.	Salvaguarda de personas: desarrolle una estrategia de comunicación y dirija sesiones educativas para los clientes. Salvaguarda tecnológica: diseñe al agente de forma que sea transparente sobre su naturaleza de IA. Salvaguarda tecnológica: configure un mensaje de bienvenida para el agente que establezca las expectativas adecuadas sobre sus capacidades y cómo puede ayudar.
Compañía	Problemas de derivación: la derivación de casos del agente al representante de servicio no es coherente ni eficiente, o resulta frustrante para los clientes.	Salvaguarda del negocio: defina los criterios y el contexto para la derivación de IA a los representantes de servicio. Salvaguarda tecnológica: configure Agentforce para que se entregue un resumen al representante de servicio al cliente en el que se describan las interacciones anteriores del agente. Salvaguarda tecnológica: en las instrucciones del agente, se describen con claridad todas las palabras clave, el lenguaje o las solicitudes que deberían desencadenar la derivación.

Nora ya planificó la reducción del alcance de su implementación de administración de reservas. Pero también puede tomar medidas a fin de establecer las expectativas adecuadas para los clientes que hacen preguntas al agente sobre el negocio. En este caso, esto puede implicar que se agregue una aclaración al mensaje de bienvenida del agente para informar que está diseñado para responder preguntas relacionadas con reservas. Además, puede incluir un puntero al mejor lugar para obtener información sobre otros servicios.

Documentar y experimentar

Cuando Nora y el concejo de IA finalizan con el ejercicio de mitigación de riesgos, documentan los riesgos y las salvaguardas para su caso de uso. Capturar las actividades de mitigación de riesgos de Coral Cloud es importante para el cumplimiento de normativas y es útil para las auditorías internas.

Tenga en cuenta que la iteración es igual de importante que la documentación. Para asegurarse de que sus salvaguardas tecnológicas sean eficientes, explore en profundidad su entorno sandbox e intente configurar las salvaguardas en Agentforce. Practique y pruebe el rendimiento de las salvaguardas en diferentes situaciones. Con este enfoque, puede identificar cualquier brecha o problema con anticipación y realizar los ajustes necesarios. Cuando combina documentación con experiencia práctica, desarrolla estrategias de mitigación de riesgos para su agente de IA.

Con un plan de gobernanza preliminar establecido, Nora está preparada para continuar con el otro componente importante del proyecto: describir el trabajo que hará el agente de Coral Cloud.

Estimación de tiempo

Temas

¿Necesita ayuda?

Recursos de Agentforce