Perfeccionar sus agentes con una estrategia de pruebas de 5 pasos

Objetivos de aprendizaje

Después de completar esta unidad, podrá:

• Explicar por qué es importante tener una estrategia de pruebas antes de empezar a probar su agente.
  
• Describir la estrategia de cinco pasos para probar sus agentes.
  

¿Por qué debería seguir una estrategia de pruebas?

Las pruebas de agentes son la base para que los agentes sean fiables y de confianza. Las herramientas de Agentforce Studio ofrecen varias formas de garantizar que su agente maneje las tareas que le asignó. Como aprendió en la unidad anterior, probar de forma minuciosa las diversas formas en que un usuario interactúa con un agente puede resultar un desafío. Con tantas variables para tener en cuenta, es una buena idea contar con una estrategia de pruebas antes de empezar. En esta unidad, aprenderá cómo probar su agente después-de perfeccionarlo en el Generador de Agentforce.

Una estrategia de cinco pasos para probar sus agentes

El bucle de pruebas de agente de IA es una estrategia paso a paso que lo guía a través del perfeccionamiento de sus agentes para que estén preparados para sus usuarios. Crea situaciones de prueba, selecciona métricas de evaluación y ejecuta pruebas automatizadas. Luego, valida los resultados y usa los comentarios para perfeccionar aún más las partes de su agente y mejorar su precisión y rendimiento.

Paso 1: Identificar las situaciones de prueba y crear datos de prueba.

Luego de probar varias entradas de usuario en el panel Preview (Vista previa) de forma manual y analizar a su agente en función de esas respuestas, está todo listo para probar su agente por lotes en Conjuntos de pruebas (Beta). El primer paso de las pruebas por lotes es identificar los tipos de entradas que quiere probar. Para crear y cargar sus propias situaciones de prueba, escríbalas en lenguaje natural o en Conjuntos de pruebas, haga clic en Create test suite (Crear un conjunto de pruebas) para que la IA genere casos de prueba por usted con los metadatos y datos a los que puede acceder el agente. Ya sea que escribe las situaciones de prueba o le pide a la IA que las genere, es útil saber qué califica como buena situación de prueba, así que echemos un vistazo.

Cuando planificó su agente, definió su alcance y sus capacidades. Por ejemplo, nuestro agente de servicio de Coral Cloud incluye estos subagentes y acciones que definen algunos de los trabajos y las tareas que el agente maneja con respecto a las experiencias.

• El subagente Experience Management (Gestión de experiencias) maneja las consultas de los clientes relacionadas con las experiencias de reserva en Coral Cloud Resorts, por ejemplo, realizar reservas, modificar reservas de sesiones y responder consultas sobre detalles de experiencias.
  
• La acción Create Experience Session Booking (Crear reserva de sesión de experiencia) usa un flujo que crea una nueva reserva de experiencia para un huésped o una cantidad de huéspedes.
  

Para pensar en buenas situaciones de prueba, en el Generador de Agentforce, revise los subagentes de su agente, incluidos los campos Classification Description (Descripción de clasificación) y Scope (Alcance) que describen las capacidades y los parámetros en los que su agente debería operar. También revise cada instrucción que dirija el rendimiento del agente. A continuación, escriba (o genere en Conjuntos de pruebas [Beta]) una entrada para probar estos detalles y asegurarse de que su agente actúe de forma confiable en cada situación. Por ejemplo, para el subagente Gestión de experiencias que describimos, las siguientes son posibles situaciones de prueba.

• Quiero saber más sobre la experiencia _____________.
  
• ¿Tienes alguna reserva para la experiencia _____________ en julio?
  
• Necesito cambiar mi reserva.
  
• Me gustaría confirmar mi reserva.
  

Necesita una cantidad de situaciones que abarquen todo tipo de entradas con el objetivo de probar su agente de forma minuciosa. Un buen conjunto de entradas de prueba tiene los siguientes atributos.

• Volumen: Un número suficiente de casos de prueba para abarcar distintas situaciones y casos extremos.
  
• Diversidad: Un amplio abanico de entradas, contextos y variaciones que prueban la capacidad de adaptación de su agente en casos de uso del mundo real, como entradas que no están incluidas en el alcance del agente o que desafían las salvaguardas del agente.
  
• Calidad: Casos de uso bien definidos, precisos y relevantes que se alinean con los objetivos del agente.
  

Conjuntos de pruebas (Beta) usa archivos .csv para contener sus situaciones de prueba. Si escribe sus propias entradas de prueba, creará su propio archivo .csv, o si le pide a la IA que genere entradas de prueba, puede descargar esas pruebas en un archivo .csv y usarlas como están o editarlas.

Se recomienda que, para empezar a probar, genere entre 10 y 20 situaciones de prueba en Conjuntos de pruebas (Beta), a continuación, descargue el archivo .csv para revisarlo con los parámetros de su agente. Así puede ahorrar tiempo y revisar estas situaciones y agregar otras que se alineen con los tipos de entrada que espera de sus usuarios. A medida que el rendimiento de su agente mejora, puede generar lotes más grandes de situaciones de prueba.

Paso 2: Establecer los parámetros de evaluación.

Los casos de prueba que genera Conjuntos de pruebas (Beta) incluyen opciones de configuración que selecciona mientras recorre las cuatro pantallas del flujo de trabajo New Test (Prueba nueva). Después de proporcionar información básica sobre su prueba, como su nombre y el agente que está probando, puede decidir si incluye variables de contexto que imitan información sobre el usuario o el contexto de la plática. También selecciona cómo Conjuntos de pruebas (Beta) evalúa el rendimiento y la calidad del agente. Es una buena idea probar todas las opciones de criterios de evaluación para garantizar que su agente sea confiable y funcione bien.

Haga clic en Next (Siguiente) o Previous (Anterior) abajo del cuadro azul si desea ver los cuatro pasos para generar casos de prueba de agente.

Cuando complete el flujo de trabajo New Test (Prueba nueva) y haga clic en Generate Test Cases (Generar casos de prueba), verá una lista de pruebas que coinciden con los criterios que seleccionó. Si carga un archivo .csv de entradas de prueba que escribió, las verá en la lista. Un caso de prueba valida la forma en que el agente procesa entradas, que se denominan expresiones. Todos los casos de prueba incluyen lo siguiente:

• Expresión: La consulta de entrada para el agente
  
• Subagente esperado: El subagente relevante que el agente debe evaluar
  
• Acciones esperadas: Las acciones relacionadas que el agente debe ejecutar
  
• Respuesta esperada: El resultado deseado descrito en lenguaje sencillo
  

Paso 3: Ejecutar las pruebas y evaluar los resultados.

Una vez que completó el flujo de trabajo New Test (Prueba nueva), haga clic en Run Test Suite (Ejecutar conjunto de pruebas) para ejecutar las pruebas y ver cómo funcionan. Puede revisar los resultados de la prueba correspondientes a la respuesta real del agente y a cada criterio de evaluación que seleccionó en el flujo de trabajo New Test (Nueva prueba).

Paso 4: Validar los resultados.

Si bien las pruebas generadas abarcan muchas situaciones e indican si se aprobaron o no, es importante que un humano revise las respuestas para asegurarse de que estén alineadas con la forma en que los usuarios interactúan con el agente y no estén generando resultados tóxicos o no deseados. En este paso, revisar la entrada y las respuestas también permite detectar detalles que se omitieron, como la falta de coherencia en el tono o imprecisiones específicas del contexto.

Paso 5: Revisar los resultados e iterar.

Recuerde que realizar pruebas es un proceso iterativo. Se utilizan los resultados de la prueba para perfeccionar los subagentes, las acciones y las instrucciones hasta alcanzar el nivel de precisión correcto. Las pruebas también permiten identificar datos desactualizados a los que tiene acceso su agente o permisos que se deben configurar.

Volver a probar sus agentes

Los agentes evolucionan, así como su negocio, por lo tanto, es importante volver a probar para mantener la precisión y confianza. Hay muchos factores que afectan el rendimiento de sus agentes, como cambios en los datos que usa su agente, permisos, actualizaciones a sus subagentes, acciones o solicitudes, o bien cambios a las funciones de producto o procesos de negocio relacionados. Con pruebas continuas, su agente evoluciona y se mantiene relevante a medida que sus objetivos de negocio cambian.

Finalización

Las pruebas son la base para crear agentes de IA fiables, eficientes y de confianza. Cuando sigue una estrategia para pruebas, se asegura de que sus agentes de Agentforce sean de confianza y útiles para sus usuarios.

Recursos

• Administradores de Salesforce: Garantizar la precisión de la IA: 5 pasos para probar Agentforce
• Video: Probar un agente de IA en el Centro de pruebas de Agentforce

Escenario para la prueba

María es administradora de Agentforce en una gran cadena de hoteles, Global Stay Resorts. Tiene la tarea de perfeccionar un agente de IA diseñado para manejar reservas de clientes. El agente se probó de forma manual en el Generador de Agentforce y, ahora, María está preparada para implementar una estrategias de prueba más integral y garantizar la fiabilidad y precisión antes de la ejecución. Se enfoca particularmente en anticipar varias entradas de usuarios y en garantizar que las respuestas del agente se alineen con la voz de marca y los procesos de negocio de la compañía.