Perfeccionar sus agentes con una estrategia de pruebas de 5 pasos
Objetivos de aprendizaje
Después de completar esta unidad, podrá:
- Explicar por qué es importante tener una estrategia de pruebas antes de empezar a probar su agente.
- Describir la estrategia de cinco pasos para probar sus agentes.
¿Por qué debería seguir una estrategia de pruebas?
Las pruebas de agentes son la base para que los agentes sean fiables y de confianza. Las herramientas de Agentforce Studio ofrecen varias formas de garantizar que su agente maneje las tareas que le asignó. Como aprendió en la unidad anterior, probar de forma minuciosa las diversas formas en que un usuario interactúa con un agente puede resultar un desafío. Con tantas variables para tener en cuenta, es una buena idea contar con una estrategia de pruebas antes de empezar. En esta unidad, aprenderá cómo probar su agente después-de perfeccionarlo en el Generador de Agentforce.
Una estrategia de cinco pasos para probar sus agentes
El bucle de pruebas de agente de IA es una estrategia paso a paso que lo guía a través del perfeccionamiento de sus agentes para que estén preparados para sus usuarios. Crea situaciones de prueba, selecciona métricas de evaluación y ejecuta pruebas automatizadas. Luego, valida los resultados y usa los comentarios para perfeccionar aún más las partes de su agente y mejorar su precisión y rendimiento.
Paso 1: Identificar las situaciones de prueba y crear datos de prueba.
Luego de probar varias entradas de usuario en el panel Conversation Preview (Vista previa de plática) de forma manual y analizar su agente en función de esas respuestas, está todo listo para probar su agente por lotes en el Centro de pruebas. El primer paso de las pruebas por lotes es identificar los tipos de entradas que quiere probar. Para crear y cargar sus propias situaciones de prueba, escríbalas en lenguaje natural o pida al Centro de pruebas que use la IA para generar casos de prueba por usted con los metadatos y datos a los que puede acceder el agente. Ya sea que escribe las situaciones de prueba o le pide a la IA que las genere, es útil saber qué califica como buena situación de prueba, así que echemos un vistazo.
Cuando planificó su agente, definió su alcance y sus capacidades. Por ejemplo, nuestro agente de reservas incluye estos temas y acciones que definen algunos de los trabajos y tareas que el agente maneja con respecto a las reservas.
- El tema Gestión de reservas maneja tareas, como confirmar reservas e itinerarios, generar nuevas reservas o modificar las existentes.
- La acción Crear o actualizar reservas crea una nueva reserva si no existe una. O si se aplica algún cambio a una reserva existente, actualiza el registro del huésped.
Para pensar en buenas situaciones de prueba, en el Generador de Agentforce, revise los temas de su agente, incluidos los campos Classification Description (Descripción de clasificación) y Scope (Alcance) que describen las capacidades y los parámetros en los que su agente debería operar. También revise cada instrucción que dirija el rendimiento del agente. A continuación, escriba (o genere en el Centro de pruebas) una entrada que pruebe con estos detalles para asegurarse de que su agente actúa de forma confiable en cada situación. Por ejemplo, para el tema Gestión de reservas que describimos, las siguientes son posibles situaciones de prueba.
- Me gustaría hacer una reserva.
- ¿Tiene disponibilidad en julio?
- Necesito cambiar mi reserva.
- Me gustaría confirmar mi reserva.
Necesita una cantidad de situaciones que abarquen todo tipo de entradas con el objetivo de probar su agente de forma minuciosa. Un buen conjunto de entradas de prueba tiene los siguientes atributos.
-
Volumen: Un número suficiente de casos de prueba para abarcar distintas situaciones y casos extremos.
-
Diversidad: Un amplio abanico de entradas, contextos y variaciones que prueban la capacidad de adaptación de su agente en casos de uso del mundo real, como entradas que no están incluidas en el alcance del agente o que desafían las salvaguardas del agente.
-
Calidad: Casos de uso bien definidos, precisos y relevantes que se alinean con los objetivos del agente.
El Centro de pruebas usa archivos .csv para contener sus situaciones de prueba. Si escribe sus propias entradas de prueba, creará su propio archivo .csv, o si le pide a la IA que genere entradas de prueba, puede descargar esas pruebas en un archivo .csv y modificarlas. El video Probar un agente de IA en el Centro de pruebas de Agentforce muestra cómo funciona el Centro de pruebas de Agentforce.
Se recomienda que, para empezar a probar, genere entre 10 y 20 situaciones en el Centro de pruebas y, luego, descargue el archivo .csv para revisar con los parámetros de su agente. Así puede ahorrar tiempo y revisar estas situaciones y agregar otras que se alineen con los tipos de entrada que espera de sus usuarios. A medida que el rendimiento de su agente mejora, puede generar lotes más grandes de situaciones de prueba.
Paso 2: Establecer los parámetros de evaluación.
Las casos de prueba que genera el Centro de pruebas incluyen opciones de configuración que selecciona mientras recorre las cuatro pantallas del flujo de trabajo de New Test (Prueba nueva). Después de proporcionar información básica sobre su prueba, como su nombre y el agente que está probando, puede decidir si incluye variables de contexto que imitan información sobre el usuario o el contexto de la plática. También selecciona cómo el Centro de pruebas evalúa el rendimiento y la calidad del agente. Es una buena idea probar todas las opciones de criterios de evaluación para garantizar que su agente sea confiable y funcione bien.
Haga clic en Next (Siguiente) o Previous (Anterior) abajo del cuadro azul si desea ver los cuatro pasos para generar casos de prueba de agente.
Cuando complete el flujo de trabajo New Test (Prueba nueva) y haga clic en Generate Test Cases (Generar casos de prueba), verá una lista de pruebas que coinciden con los criterios que seleccionó. Si carga un archivo .csv de entradas de prueba que escribió, las verá en la lista. Un caso de prueba valida la forma en que el agente procesa entradas, que se denominan expresiones. Todos los casos de prueba incluyen lo siguiente:
-
Expresión: La consulta de entrada para el agente
-
Tema esperado: El tema relevante que el agente debe evaluar
-
Acciones esperadas: Las acciones relacionadas que el agente debe ejecutar
-
Respuesta esperada: El resultado deseado descrito en lenguaje sencillo
Paso 3: Ejecutar las pruebas y evaluar los resultados.
Una vez que completó el flujo de trabajo New Test (Prueba nueva), haga clic en Run Test Suite (Ejecutar conjunto de pruebas) para ejecutar las pruebas y ver cómo funcionan. Revise los resultados de prueba en los campos The Actual Topic (El tema real), Topic Test Result (Resultado de prueba de tema), Actual Actions (Acciones reales), Action Test Result (Resultado de prueba de acción) y Actual Response (Respuesta real).
Paso 4: Validar los resultados.
Si bien las pruebas generadas manejan muchas situaciones, es importante que un humano revise las respuestas para asegurarse de que estén alineadas con la forma en que el agente debería responder y no estén generando resultados tóxicos o no deseados. En este paso, revisar la entrada y las respuestas también permite detectar detalles que se omitieron, como la falta de coherencia en el tono o imprecisiones específicas del contexto.
Paso 5: Revisar los resultados e iterar.
Recuerde que realizar pruebas es un proceso iterativo. Usa resultados de prueba para perfeccionar sus temas, acciones e instrucciones hasta que alcanza el nivel de precisión correcto. Las pruebas también permiten identificar datos desactualizados a los que tiene acceso su agente o permisos que se deben configurar.
Volver a probar sus agentes
Los agentes evolucionan, así como su negocio, por lo tanto, es importante volver a probar para mantener la precisión y confianza. Hay muchos factores que afectan el rendimiento de sus agentes, como cambios en los datos que usa su agente, permisos, actualizaciones a sus temas, acciones o solicitudes, o bien cambios a las funciones de producto o procesos de negocio relacionados. Con pruebas continuas, su agente evoluciona y se mantiene relevante a medida que sus objetivos de negocio cambian.
Finalización
Las pruebas son la base para crear agentes de IA fiables, eficientes y de confianza. Cuando sigue una estrategia para pruebas, se asegura de que sus agentes de Agentforce sean de confianza y útiles para sus usuarios.
Escenario para la prueba
María es administradora de Agentforce en una gran cadena de hoteles, Global Stay Resorts. Tiene la tarea de perfeccionar un agente de IA diseñado para manejar reservas de clientes. El agente se probó de forma manual en el Generador de Agentforce y, ahora, María está preparada para implementar una estrategias de prueba más integral y garantizar la fiabilidad y precisión antes de la ejecución. Se enfoca particularmente en anticipar varias entradas de usuarios y en garantizar que las respuestas del agente se alineen con la voz de marca y los procesos de negocio de la compañía.