Definir las protecciones del agente

Objetivos de aprendizaje

Después de completar esta unidad, podrá:

Describir las protecciones que ayudan a garantizar la confiabilidad de Agentforce.
Identificar los posibles riesgos asociados con su proyecto de Agentforce.
Definir estrategias de mitigación de riesgos para el proyecto.

Riesgos de la IA autónoma

Los agentes de IA autónoma son herramientas muy potentes que pueden proporcionar valor a su organización y mejorar la experiencia de los clientes. Sin embargo, también existen riesgos. Entre estos riesgos se incluyen amenazas, brechas de datos, daños de reputación, pérdida financiera, sesgos, alucinaciones y problemas relacionados con la transparencia y la responsabilidad.

A pesar de los riesgos, es posible implementar IA autónoma de forma segura en su organización. Con la planificación adecuada y la ayuda de Salesforce Platform, puede crear e implementar un conjunto completo de agentes de IA de confianza.

Agentes de IA en los que se puede confiar

En IA de agentes de confianza, aprenderá que una de las funciones destacadas de Agentforce es la insistencia en las protecciones. Estas protecciones definen los límites operacionales para cada agente, describiendo lo que puede hacer y lo que no. Mediante el uso del lenguaje natural, puede especificar protecciones para el comportamiento del agente y cómo funciona.

Además de las protecciones del agente de IA, la Capa de confianza de Einstein integrada en Salesforce Platform garantiza que las acciones del agente se alineen con las normas de seguridad y de cumplimiento de su empresa. Incluye mecanismos para la detección de lenguaje tóxico y dañino a fin de que los agentes no se involucren en actividades inapropiadas o perjudiciales.

En esta unidad, siga a Nora a medida que trabaja con el consejo de IA de Coral Cloud a fin de identificar los riesgos asociados con su caso de uso de IA autónoma y desarrollar un plan para abordar dichos riesgos.

No se olvide de la gobernanza

Las protecciones de Salesforce para los agentes de IA son potentes y sólidas, pero Nora es consciente de que no todas las protecciones de Coral Cloud se encuentran en la tecnología en sí. Lo que ocurre al margen de la tecnología también es importante.

Cuando Coral Cloud desarrolló su estrategia de IA, el equipo estableció una práctica de gobernanza de IA, que les ayuda a planificar una estrategia completa de mitigación de riesgos para el agente de IA.

Veamos un ejemplo de gobernanza de IA. En Coral Cloud, el consejo de IA requiere que todos los nuevos proyectos de IA se sometan a una revisión de seguridad. Se trata de un proceso de negocio (y no de una función tecnológica) que ayuda a proteger la organización de los riesgos de IA. Nora programa la revisión de seguridad para que la empresa pueda empezar a pensar más a fondo en las protecciones y en la gobernanza del proyecto.

Superar las objeciones

En algunas organizaciones, puede resultar complicado abordar la cuestión de los riesgos, ya que existe la percepción de que las actividades de mitigación de riesgos ralentizan el proceso de desarrollo. Sin embargo, es fundamental abordar este tema de forma anticipada; de lo contrario, el proyecto de IA podría dejar de funcionar antes de que se llegue a la fase de producción.

Mediante la integración de la gestión de riesgos en el diseño y la realización de prototipos de IA, puede acelerar los proyectos y garantizar que se cumplen los requisitos éticos, legales, normativos y de seguridad. Si aprende a gestionar el riesgo para un caso de uso, después podrá extrapolar lo aprendido a los siguientes casos de uso.

Explicar qué es un agente y qué es capaz de hacer en términos no tan técnicos puede ayudarle a crear una base sólida. Esta base puede aplicarse a futuros proyectos, garantizando así que las implementaciones de IA resulten ser más optimizadas y tengan más éxito.

Cómo tratar las conversaciones sobre el riesgo

¿Cómo enfoca las conversaciones sobre el riesgo? Recomendamos utilizar un enfoque que toque los aspectos de personas, empresa, tecnología y datos, que suele ser bastante conocido por muchas organizaciones. Estas categorías y consideraciones pueden ayudarle a descubrir posibles riesgos y preocupaciones en relación con su proyecto de Agentforce.

Categoría	Consideraciones
Personas	Empoderamiento: funciones y responsabilidades, contratación, capacitación y oportunidades para mejorar Cultura y práctica: diseño de IA centrado en el ser humano, gestión de cambios, adopción
Empresa	Valor: beneficios, objetivos, KPI y mediciones Operaciones: estructura de la organización, gestión de capacidades, procesos y flujos de trabajo, gobernanza de IA, estrategia de DevOps
Tecnología	Herramientas de IA: infraestructura de IA, aplicaciones, API, solicitudes, protecciones de seguridad Modelos de IA: selección de modelo, consideraciones de capacitación, gestión, costes
Datos	Calidad: para su uso, precisión, completitud, accesibilidad, creación reciente Estrategia: gestión de datos, infraestructura, gobernanza, análisis

Infografía que muestra cuatro cuadrantes de los aspectos personas, empresa, terminología y datos.

Identificar riesgos y preocupaciones

Nora utiliza este marco para hablar sobre los riesgos y las preocupaciones relacionados con el caso de uso de gestión de reservas de Coral Cloud. Las partes interesadas del consejo de IA de Coral Cloud identifican los riesgos y las preocupaciones para cada una de las categorías. Observe que esta lista no es exhaustiva y que cada caso de uso tiene sus propios riesgos y preocupaciones.

Categoría	Riesgos
Personas	Rechazo: los clientes no quieren hablar con el agente porque no confían en él o porque no están seguros de si pueden utilizar IA. Abuso: los clientes son hostiles con el agente o intentan manipularlo. Cultura: el miedo por el posible impacto de la IA en los trabajos de servicio afecta a la moral de los empleados.
Empresa	Propósito: el alcance del agente no se adapta correctamente a la organización empresarial o a los procesos del equipo. Creación de informes: los KPI actuales del equipo están invalidados por la introducción de un agente de IA para que haga parte del trabajo. Incentivos: las estructuras de compensación y recompensas se ven afectadas por la reorientación del trabajo del agente. Operaciones: los procesos para la distribución no son claros ni eficaces, además de resultar frustrantes. Rendimiento del agente: las políticas de la empresa apropiadas no influyen correctamente en las respuestas del agente de IA.
Tecnología	Precisión: las alucinaciones afectan negativamente a la calidad de las respuestas o no se tienen los conocimientos suficientes. Fiabilidad: demasiada irregularidad en las respuestas generadas por el agente. Auditorías: las operaciones tecnológicas no pueden realizar un seguimiento de la precisión de las respuestas del agente. Latencia: el agente no puede conseguir las respuestas a tiempo.
Datos	Acceso: los permisos de datos no se entienden o no se aplican, por lo que los datos pueden verse expuestos para los clientes. Privacidad: los datos necesarios no se pueden utilizar según la política de privacidad. Cumplimiento: no está claro si las restricciones contractuales de los clientes se aplican a los datos; por ejemplo, es posible que los datos no puedan salir del país de la empresa del cliente. Adecuación: los datos no están alineados con el objetivo del agente, o los derechos de datos no están alineados con el caso de uso. Ética: los sesgos al modelar los datos podrían generar respuestas inapropiadas.

En el caso de Nora, puede ver cómo las limitaciones de los artículos de conocimiento de su empresa podrían dar forma a su estrategia de adopción. Sin embargo, Coral Cloud también experimenta muchos de los riesgos que se han descrito. Después de todo, si un agente no sigue las políticas del centro turístico en sus respuestas o si los empleados no tienen manera de realizar un seguimiento de la utilidad de los agentes, no será sencillo proporcionar una experiencia perfecta.

Definir estrategias de mitigación de riesgos

Ahora que el consejo de IA de Coral Cloud ha catalogado los riesgos y las preocupaciones, Nora y su equipo pueden realizar una lluvia de ideas sobre estrategias de mitigación para cada uno de los riesgos. A medida que van descubriendo las posibles protecciones, pueden categorizar cada una de ellas para designar si están relacionadas con las personas, con la empresa, con la tecnología o con los datos.

Estos son algunos ejemplos de las posibles protecciones para dos de los riesgos que se han identificado en Coral Cloud.

Categoría de riesgo	Riesgo	Posibles protecciones
Personas	Rechazo por parte de los clientes: los usuarios no quieren hablar con el agente porque no confían en él.	Protección para las personas: crear una estrategia de comunicación y llevar a cabo sesiones informativas de formación para los clientes. Protección para la tecnología: diseñar el agente para que sea transparente sobre el hecho de que es IA. Protección para la tecnología: configurar un mensaje de bienvenida para el agente que establezca las expectativas adecuadas sobre sus capacidades y sobre cómo puede resultar de ayuda.
Empresa	Problemas de distribución: las distribuciones del agente a los representantes de servicio no son coherentes ni eficaces, además de resultar frustrantes para los clientes.	Protección para la empresa: definir criterios y el contexto de distribución de la IA a los representante de servicio. Protección para la tecnología: configurar Agentforce para que se proporcione un resumen de la interacción anterior con el agente al representante de servicio. Protección para la tecnología: en las instrucciones del agente, describir claramente las palabras clave, lenguajes o solicitudes que puedan desencadenar la distribución.

Nora ya tiene un plan para reducir el alcance de su implementación de gestión de reservas. Sin embargo, también puede seguir los pasos para establecer las expectativas adecuadas para los clientes que preguntan al agente sobre el negocio. En este caso, esto puede implicar que se deba añadir un aviso en el mensaje de bienvenida del agente en el que se indique que está diseñado para responder preguntas relacionadas con la reserva. Además, se debería incluir una indicación sobre cuál sería el mejor lugar para obtener información sobre otros servicios.

Documentar y experimentar

Cuando Nora y el consejo de IA hayan terminado con el ejercicio de mitigación de riesgos, documentarán los riesgos y las protecciones para su caso de uso. La captura de las actividades de mitigación de riesgos de Coral Cloud es importante para seguir el cumplimiento normativo y útil para las auditorías internas.

Tenga en cuenta que la iteración es tan importante como la documentación. Para asegurarse de que sus protecciones en cuanto a la tecnología sean eficaces, pruebe a configurar las protecciones en su entorno de sandbox en Agentforce. Practique con las protecciones y pruebe su rendimiento en diferentes situaciones. De esta manera, podrá identificar mejor cualquier brecha o problema con antelación y realizar los ajustes necesarios. Mediante la combinación de documentación y experiencia práctica, podrá desarrollar estrategias de mitigación de riesgos para su agente de IA.

Una vez que tenga un plan de gobernanza preliminar, Nora estará lista para continuar con otro componente fundamental de su proyecto: describir el trabajo que realizará el agente de Coral Cloud.

Estimación de tiempo

Temas

¿Necesita ayuda?

Recursos de Agentforce