Aprimorar seus agentes usando uma estratégia de teste de cinco etapas
Objetivos de aprendizagem
Após concluir esta unidade, você estará apto a:
- Explicar por que é importante ter uma estratégia de testes antes de começar a testar seu agente.
- Descrever a estratégia de cinco etapas para testar seus agentes.
Por que seguir uma estratégia de testes?
Os testes do agente são a base para o lançamento de agentes confiáveis e seguros. As ferramentas do Agentforce Studio oferecem diversas maneiras de garantir que seu agente execute as tarefas planejadas. Como você viu na unidade anterior, testar minuciosamente as várias maneiras pelas quais um usuário pode interagir com um agente pode ser um desafio. Com tantas variáveis em jogo, convém ter uma estratégia de testes definida antes de começar. Nessa unidade, você verá como testar seu agente após aprimorá-lo no Criador do Agentforce.
Uma estratégia de cinco etapas para testar seus agentes
O Ciclo de testes do agente de IA é uma estratégia detalhada que orienta você na otimização dos agentes para que eles estejam aptos para atender aos usuários. Você cria cenários de teste, seleciona métricas de avaliação e executa testes automatizados. Em seguida, você valida os resultados e usa o feedback para aprimorar ainda mais partes do agente para melhorar a precisão e o desempenho.
Etapa 1: Identificar cenários de teste e criar dados de teste.
Depois de testar manualmente uma variedade de entradas de usuário no painel Conversation Preview (Visualização da conversa) e analisar seu agente com base nessas respostas, você estará pronto para testar seu agente em lote no Centro de testes. A primeira etapa do teste em lote é identificar os tipos de entrada que você deseja testar. Você pode criar e carregar seus próprios cenários de teste elaborando-os em linguagem natural ou pode solicitar que o Centro de testes use IA para gerar casos de teste para você usando metadados do seu agente e dados aos quais ele tem permissão de acesso. Independente de você mesmo elaborar os cenários de teste ou solicitar que a IA faça isso, é importante entender o que caracteriza um cenário de teste eficaz. Vamos dar uma olhada.
Ao planejar seu agente, você definiu o escopo e os recursos. Por exemplo, nosso agente de reservas inclui esses tópicos e ações que definem algumas tarefas que o agente executará relacionadas a reservas.
- O assunto Reservation Management (Gerenciamento de reservas) lida com tarefas como confirmar reservas e itinerários, além de criar ou modificar reservas existentes.
- A ação Create or Update Reservation (Criar ou atualizar reserva) cria uma nova reserva, caso ela não exista. Ou, se uma alteração for feita em uma reserva existente, ela atualizará o registro do hóspede.
Para ajudar você a criar bons cenários de teste, no Criador do Agentforce, revise os assuntos do agente, incluindo os campos Classification Description (Descrição da classificação) e Scope (Escopo), que descrevem os recursos e parâmetros nos quais seu agente deve operar. Analise também cada instrução que orienta o desempenho do agente. Em seguida, escreva (ou gere no Centro de testes) entradas para testar esses detalhes para ajudar a garantir que seu agente atue de forma confiável em cada cenário. Por exemplo, no caso do assunto Reservation Management (Gerenciamento de reservas) que descrevemos, as entradas abaixo poderiam estar entre seus cenários de teste.
- Gostaria de fazer uma reserva.
- Vocês têm vagas em julho?
- Tenho que alterar minha reserva.
- Gostaria de confirmar minha reserva.
Você precisa de vários cenários que abordem todos os tipos de entrada para testar seu agente na totalidade. Um bom conjunto de entradas de teste tem esses atributos.
-
Volume: um número suficiente de casos de teste para garantir uma cobertura de diferentes cenários e casos extremos.
-
Diversidade: uma ampla gama de entradas, contextos e variações para testar a adaptabilidade do agente em casos de uso do mundo real, incluindo entradas que não estão dentro do escopo do agente ou que podem desafiar as proteções do agente.
-
Qualidade: casos de teste bem definidos, precisos e relevantes, alinhados com os objetivos do agente.
O Centro de testes usa arquivos .csv para armazenar seus cenários de teste. Se você escrever suas próprias entradas de teste, criará seu próprio arquivo .csv. Se você solicitar que a IA gere entradas de teste, poderá baixar esses testes em um arquivo .csv e editá-los. O vídeo Testar um agente de IA no Centro de testes do Agentforce mostra como o Centro de testes do Agentforce funciona.
Recomendamos que você comece os testes gerando 10 ou 20 cenários de teste no Centro de testes e, em seguida, baixe o arquivo .csv para analisá-lo comparando com os parâmetros do agente. Isso pode economizar tempo, e você pode analisar esses cenários e adicionar outros para alinhá-los com os tipos de entrada que espera dos usuários. À medida que o desempenho do agente melhorar, você poderá gerar lotes maiores de cenários de teste.
Etapa 2: Definir os parâmetros da avaliação.
Os casos de teste gerados pelo Centro de testes incluem configurações que você seleciona conforme é orientado pelas quatro telas do fluxo de trabalho New Test (Novo teste). Depois de fornecer informações básicas sobre seu teste, como o nome e o agente que está testando, você pode optar por incluir variáveis de contexto que simulam informações sobre o usuário ou o contexto da conversa. Você também seleciona como o Centro de testes avalia o desempenho e a qualidade do agente. Convém testar todas as opções de critérios de avaliação para garantir que seu agente seja confiável e tenha um bom desempenho.
Clique em Next (Próximo) ou Previous (Anterior) abaixo da caixa azul para visualizar as quatro etapas para gerar casos de teste de agentes.
Ao concluir o fluxo de trabalho New Test (Novo teste) e clicar em Generate Test Cases (Gerar casos de teste), você verá uma lista de testes que correspondem aos critérios selecionados. Se tiver carregado um arquivo .csv com entradas de teste escritas por você, elas estarão na sua lista. Um caso de teste valida como o agente processa a entrada, que é chamada de declaração. Cada caso de teste inclui:
-
Utterance (Declaração): a consulta de entradas para o agente
-
Expected Topic (Assunto esperado): o assunto relevante que o agente deveria avaliar
-
Expected Actions (Ações esperadas): as ações esperadas que o agente deveria executar
-
Expected Response (Resposta esperada): o resultado desejado descrito em linguagem simples
Etapa 3: Executar os testes e avaliar os resultados.
Após concluir o fluxo de trabalho New Test (Novo teste), clique em Run Test Suite (Executar conjunto de testes) para executar os testes e observar o desempenho deles. Analise os resultados do teste nos campos Actual Topic (Assunto real), Topic Test Result (Resultado do teste do assunto), Actual Actions (Ações reais), Action Test Result (Resultado do teste da ação) e Actual Response (Resposta real).
Etapa 4: Validar seus resultados.
Embora os testes gerados abordem muitos cenários, é importante que um humano revise as respostas para garantir que elas estejam alinhadas com a forma como o agente deve responder e que não estejam produzindo resultados tóxicos ou indesejados. Nessa etapa, a revisão de entradas e respostas pode detectar sutilezas que passaram despercebidas, como incompatibilidades de tom ou imprecisões específicas do contexto.
Etapa 5: Revisar seus resultados e iterar.
Lembre-se que testar é um processo iterativo. Você usa os resultados dos testes para aprimorar seus assuntos, ações e instruções até atingir o nível de precisão aceitável. Os testes também podem ajudar a revelar dados desatualizados aos quais seu agente tem acesso ou permissões que precisam ser ajustadas.
Testar seus agentes novamente
Os agentes evoluem, como seu negócio, por isso, é importante realizar novos testes para garantir precisão e confiabilidade contínuas. Há muitos fatores que podem afetar o desempenho dos agentes, incluindo mudanças nos dados que o agente utiliza, permissões, atualizações dos assuntos, ações ou prompts, ou mudanças em recursos de produtos ou processos comerciais relacionados. Testes contínuos ajudarão seu agente a evoluir e se manter relevante conforme os objetivos comerciais mudam.
Finalizar
Os testes são a base para a criação de agentes de IA confiáveis, eficientes e seguros. Ao seguir uma estratégia de testes, você garante que seus agentes do Agentforce sejam confiáveis e úteis para seus usuários.
Cenário de teste
Maria é administradora do Agentforce em uma grande rede hoteleira, a Global Stay Resorts. Ela ficou responsável por aprimorar um agente de IA criado para lidar com reservas de clientes. O agente foi testado manualmente no Criador do Agentforce e Maria já está pronta para implementar uma estratégia de testes mais abrangente para garantir a confiabilidade e precisão antes do lançamento completo do agente. Ela está particularmente focada em antecipar várias entradas de usuários e garantir que as respostas do agente estejam alinhadas com a voz da marca e os processos comerciais da empresa.