Explorar ferramentas e considerações sobre testes do agente

Objetivos de aprendizagem

Após concluir esta unidade, você estará apto a:

• Explicar a importância de testar agentes.
  
• Descrever as ferramentas que você pode usar para testar seu agente.
  
• Discutir considerações sobre testes do agente e formas de mitigá-las.
  

Nova experiência de criação de agentes disponível em breve!

O Agentforce vai receber uma atualização! Na Dreamforce 2025, anunciamos a nova experiência de criação de agentes, que pode diferir do processo e dos recursos apresentados neste emblema. A nova experiência deverá ficar disponível em versão beta aberta nas semanas seguintes à Dreamforce. A disponibilidade geral virá logo em seguida. A experiência atual do criador continua disponível para oferecer suporte a agentes criados anteriormente. Fique atento a mais informações.

Antes de começar

Antes de iniciar este módulo, considere a possibilidade de concluir este conteúdo recomendado. Esses módulos oferecem uma base de conhecimento sobre a qual esse módulo se desenvolverá.

• Trailhead: Agentforce: Planejamento do agente
  
• Trailhead: Noções básicas do Criador do Agentforce
  
• Trailhead: A Camada de confiança do Einstein
  

Introdução

A inteligência artificial (IA) e a ascensão dos Agentes de IA têm remodelado a forma como pensamos sobre o desenvolvimento de software. Em muitas organizações, os mesmos administradores e desenvolvedores do Salesforce que passaram anos administrando ou personalizando soluções do Salesforce agora são responsáveis ​​por criar Agentes do Agentforce. Isso exige uma mudança nas habilidades, nas ferramentas que eles usam e na mentalidade deles. Embora as etapas tradicionais e conhecidas de gerenciamento do ciclo de vida de aplicativos (ALM), como ideação, configuração, teste, implantação e observação, também se apliquem ao processo do ciclo de vida de desenvolvimento de agentes (ADL), a inclusão da IA ​​generativa pode trazer algumas reviravoltas inesperadas, especialmente em relação aos testes do agente.

Nesse módulo, você conhecerá as ferramentas disponíveis para testar e solucionar problemas com os agentes, considerações para auxiliar nos testes e estratégias de teste que você pode usar para tornar as respostas do seu agente mais precisas e previsíveis.

Razões para testar

Se tiver conquistado o emblema Agentforce: Planejamento do agente, você acompanhou Nora Alami, da Coral Cloud Resorts, no planejamento de um agente capaz de criar e gerenciar reservas de clientes. Você conheceu os critérios de definição como público, escopo, casos de uso, proteções e as tarefas que o agente executará. Essas especificações são as mesmas que seus testes devem validar para garantir que o desempenho do agente esteja alinhado com o trabalho para o qual você o projetou.

Ferramentas para testar e solucionar problemas com seu agente

Garantir que seu agente responda de forma precisa e previsível às entradas do usuário pode parecer uma tarefa difícil, especialmente quando você considera todas as solicitações do usuário com as quais seus assuntos, ações e proteções precisam estar preparados para lidar. Com tantas variáveis ​​em jogo, a causa de uma resposta imprecisa, uma mensagem de erro ou uma alucinação pode estar em uma instrução, ação, dados ou em um conjunto de permissões. É por isso que o Agentforce Studio oferece dois níveis de teste para garantir que seu agente esteja pronto para fornecer respostas confiáveis ​​e previsíveis: teste manual no Criador do Agentforce e teste em escala no Centro de testes.

Ferramentas de teste e solução de problemas do Criador do Agentforce

Depois de criar seu agente no Agentforce Creator, você pode começar a testá-lo no Criador do Agentforce. Teste conversas no painel Conversation Preview (Visualização da conversa) para ver o desempenho do seu agente. Você pode revisar as etapas necessárias para retornar a resposta recebida, analisando os detalhes na tela do plano. Além disso, você pode revisar logs de eventos do agente para ver detalhes específicos da sessão e da conversa.

Conversation Preview (Visualização da Conversa (1): é interessante quando você chega à etapa no Criador do Agentforce em que pode começar a conversar com seu agente no painel Conversation Preview (Visualização da conversa). Aqui, você pode simular conversas que seus usuários podem ter com seu agente para ver se ele responde da maneira esperada. As respostas geradas permitem que você veja se seu agente fornece respostas úteis e relevantes, aciona as ações corretas, consulta seus processos de negócios corretamente e mantém os limites definidos.

Plan canvas (Tela do plano) (2): sempre que você insere algo na janela de bate-papo da visualização da conversa, o painel central, chamado tela do plano, é atualizado para mostrar como o agente elaborou sua resposta. A tela do plano mostra a entrada inicial que você inseriu, o assunto selecionado, as ações executadas e as instruções utilizadas. Você também pode ver o raciocínio usado pelo agente para gerar a resposta e outros dados relevantes que ele tenha permissão para usar para fornecer uma resposta mais personalizada e precisa.

A resposta e os detalhes recebidos ajudam você a identificar onde pode aprimorar seu agente para fornecer respostas que respeitem seu plano. Você pode testar uma entrada, analisar o agente e testar novamente. Basta atualizar a janela Conversation Preview (Visualização da conversa) entre as entradas para aplicar as atualizações.

Enhanced Event Logs (Logs de eventos aprimorados)

Enquanto os detalhes das suas interações no painel Conversation Preview (Visualização da conversa) desaparecem sempre que você atualiza o agente, o recurso Enhanced Event Logs (Logs de eventos aprimorados) coletam e armazenam as interações em uma sessão do agente para que você possa visualizar o fluxo de uma conversa e aprimorar as respostas do seu agente. Para usar Enhanced Event Logs (Logs de eventos aprimorados), habilite a configuração no Agentforce Creator, na tela Customize your agent (Personalizar seu agente), marcando a caixa de seleção Keep a record of conversations with Enhanced Event Logs to review agent behavior (Manter um registro de conversas usando Logs de eventos aprimorados para analisar o comportamento do agente). Você também pode habilitar Enhanced Event Logs (Logs de eventos aprimorados) posteriormente na guia Details (Detalhes), na seção Settings (Configurações) dos agentes.

Após o lançamento do agente, é útil ter acesso ao recurso Enhanced Event Logs (Logs de eventos aprimorados), pois você pode revisar os tipos de trocas de conversas que seus usuários têm com seus agentes, incluindo a entrada fornecida ao agente e como ele respondeu. Isso pode ajudar você a localizar e corrigir um problema ou ajustar seu agente para tratar de entradas que você não tinha previsto. Os logs de eventos informam se você precisa definir outras proteções ou aprimorar suas instruções ou ações para fornecer respostas mais direcionadas. O Criador do Agentforce armazena logs de eventos por sete dias para que você possa revisar retroativamente os dados da conversa e a atividade da sessão, tudo em um só lugar.

Centro de testes

Depois de aprimorar o desempenho do seu agente no Criador do Agentforce, você estará pronto para testá-lo em lote no Centro de testes. Para acessar o Centro de testes em Setup (Configuração), pesquise e selecione Testing Center (Centro de testes) na caixa Quick Find (Busca rápida). Ou, no Criador do Agentforce, clique no botão Batch Test (Teste em lote) acima do painel de Conversation Preview (Visualização da conversa).

Você pode estar pensando: "Já testei meu agente no Criador do Agentforce, por que preciso testá-lo em lote no Centro de testes?” Bem, levaria muito tempo para pensar em todas as maneiras pelas quais um usuário poderia fazer uma pergunta ou interagir com seu agente e, em seguida, testá-las uma a uma na janela de Conversation Preview (Visualização da conversa). O Centro de testes simplifica os testes, permitindo testar dezenas ou até centenas de cenários de uma só vez. Por exemplo, você pode carregar um arquivo .csv com cenários de teste que você escreveu em linguagem natural ou pode solicitar que o Centro de testes use IA para gerar entradas de teste relevantes para as tarefas que seu agente executa.

Quando um teste em lote é executado, os resultados mostram a entrada que foi testada juntamente com os assunto e ações esperados e reais que foram chamados, a resposta esperada e se cada entrada foi aprovada ou reprovada. Se precisar de mais informações sobre o motivo da falha de uma entrada de teste, você pode copiar e colar a entrada no painel Conversation Preview (Visualização da conversa) do Criador do Agentforce e revisar o caminho percorrido pelo agente para chegar à resposta com falha na tela do plano. Isso ajuda você a aprimorar ainda mais suas instruções, o que, por sua vez, melhora a experiência do usuário. Para obter informações detalhadas sobre o Centro de testes e sobre como escrever ou gerar cenários de teste, consulte Agentforce: Testes do agente.

Considerações sobre testes do agente

Nos testes de aplicativos tradicionais, você planeja cada detalhe do aplicativo antes mesmo de começar a criá-lo. O sucesso é medido pela produção de resultados previsíveis e repetíveis – é determinístico. Sua solução funciona da maneira pretendida ou não. Por outro lado, embora o desenvolvimento de um agente também exija planejamento prévio, você aprimora, testa e revisa seu agente durante a criação. Os testes do agente são probabilísticos, ou seja, seus resultados podem ser menos previsíveis, exclusivos e, às vezes, surpreendentes devido à falta de lógica baseada em regras da IA ​​generativa. A mesma entrada pode gerar muitas respostas diferentes, mas ainda assim respostas corretas, respostas incorretas ou até alucinações. Também é difícil antecipar todas as formas como um usuário pode interagir com o agente, portanto, você precisa considerar e testar uma variedade de cenários ao criá-lo. Dessa forma, você minimiza as respostas que não correspondem à entrada do usuário ou que são imprecisas.

Determinar quando seu agente está pronto para produção

A natureza probabilística do comportamento do agente torna um pouco incerto determinar quando ele está pronto para produção. Cada empresa precisa definir sua própria linha de base para taxas de aprovação/reprovação em vários cenários. Não existe uma única resposta correta e o nível de precisão desejado pode variar de acordo com o setor. Um bom ponto de partida é considerar a precisão com que um humano executaria a mesma tarefa, por exemplo, responder a perguntas sobre reservas, e usar isso como a linha de base. Em seguida, você pode fazer o possível para garantir que seu agente atinja ou supere esse nível de precisão.

Sempre testar em uma sandbox

Testar seus agentes pode modificar seus dados de CRM, portanto, sempre use o Centro de testes em um ambiente de sandbox, nunca em seu ambiente de produção.

Usar vários critérios para avaliar sua resposta

Para obter as respostas desejadas nas entradas do painel Conversation Preview (Visualização da conversa), provavelmente será necessário realizar algumas tentativas. A criação de um agente é um processo iterativo. E para considerar os diversos tipos de entrada, você precisa fazer alguma revisão no texto, incluindo aprimorar a redação, verificar permissões, validar dados ou adicionar mais detalhes ou proteções às suas instruções.. O feedback que você recebe na tela do plano, logs de eventos ou no Centro de testes ajudará você a aprimorar e identificar onde precisa aprimorar os assuntos, ações ou instruções do agente para obter respostas mais próximas do nível de precisão desejado.

Veja alguns pontos-chave a serem considerados ao testar seu agente e maneiras de lidar com ele.

Custos dos testes

Uma última consideração a ser feita em relação aos testes é o custo para realizá-los. Testar seu agente no Centro de testes pode consumir Créditos flexíveis, Créditos de conversas ou Solicitações do Einstein, além de Créditos do Data 360. Essas solicitações e créditos são métricas de uso cobráveis ​​para IA generativa que geram custos para sua organização. Para saber mais, consulte a documentação de ajuda Tipos de uso cobráveis ​​de IA generativa ou fale com seu executivo de contas.

Finalizar

Os Testes do agente exigem uma forma diferente de pensar e trabalhar em comparação com os testes de aplicativos tradicionais. Ao considerar todas as variáveis ​​que podem afetar as respostas do agente, não é de se admirar que o sucesso dos testes do agente seja mais subjetivo se comparado ao teste de um software tradicional. Dominar as ferramentas de teste do Agentforce e entender como mitigar os fatores que afetam o desempenho do agente pode ajudar você a atingir rapidamente o nível de precisão desejado. Na próxima unidade, você aprenderá a importância de criar uma estratégia de testes do agente para orientar seus testes.

Recursos

• Trailhead: Noções básicas do Criador do Agentforce
• Blog: Seu agente está pronto para a produção?
• Ajuda do Salesforce: Avalie a qualidade de uma resposta
• Ajuda do Salesforce: Tipos de uso cobrável da IA generativa