Explorar ferramentas e considerações sobre testes do agente

Objetivos de aprendizagem

Após concluir esta unidade, você estará apto a:

• Explicar a importância de testar agentes.
  
• Descrever as ferramentas que você pode usar para testar seu agente.
  
• Discutir considerações sobre testes do agente e formas de mitigá-las.
  

Antes de começar

Antes de iniciar este módulo, considere a possibilidade de concluir este conteúdo recomendado. Esses módulos oferecem uma base de conhecimento sobre a qual esse módulo se desenvolverá.

• Trailhead: Agentforce: Planejamento do agente
  
• Trailhead: Noções básicas do Criador do Agentforce
  
• Trailhead: A Camada de confiança do Einstein
  

Introdução

A inteligência artificial (IA) e a ascensão dos Agentes de IA têm remodelado a forma como pensamos sobre o desenvolvimento de software. Em muitas organizações, os mesmos administradores e desenvolvedores do Salesforce que passaram anos administrando ou personalizando soluções do Salesforce agora são responsáveis ​​por criar Agentes do Agentforce. Isso exige uma mudança nas habilidades, nas ferramentas que eles usam e na mentalidade deles. Embora as etapas tradicionais e conhecidas de gerenciamento do ciclo de vida de aplicativos (ALM), como ideação, configuração, teste, implantação e observação, também se apliquem ao processo do ciclo de vida de desenvolvimento de agentes (ADL), a inclusão da IA ​​generativa pode trazer algumas reviravoltas inesperadas, especialmente em relação aos testes do agente.

Nesse módulo, você conhecerá as ferramentas disponíveis no Estúdio do Agentforce para testar e solucionar problemas com os agentes, considerações para auxiliar nos testes e estratégias de teste que você pode usar para tornar as respostas do seu agente mais precisas e previsíveis.

Razões para testar

Se tiver conquistado o emblema Agentforce: Planejamento do agente, você acompanhou Nora Alami, da Coral Cloud Resorts, no planejamento de um agente capaz de criar e gerenciar a experiência do cliente. Você conheceu os critérios de definição como público, escopo, casos de uso, proteções e as tarefas que o agente executará. Essas especificações são as mesmas que seus testes devem validar para garantir que o desempenho do agente esteja alinhado com o trabalho para o qual você o projetou.

Ferramentas para testar e solucionar problemas com seu agente

Garantir que seu agente responda de forma precisa e previsível às entradas do usuário pode parecer uma tarefa difícil, especialmente quando você considera todas as solicitações do usuário com as quais seus subagentes, ações e proteções precisam estar preparados para lidar. Com tantas variáveis ​​em jogo, a causa de uma resposta imprecisa, uma mensagem de erro ou uma alucinação pode estar em uma instrução, ação, dados ou em um conjunto de permissões. É por isso que o Estúdio do Agentforce oferece dois níveis de teste para garantir que seu agente esteja pronto para fornecer respostas confiáveis ​​e previsíveis: teste de visualização no Criador do Agentforce e teste em escala no Test Suites (Pacotes de testes) (Beta).

Ferramentas de teste e solução de problemas do Criador do Agentforce

O Criador do Agentforce oferece várias ferramentas que permitem testar conversas e analisar como o agente elaborou as respostas para que você possa aprimorar seu agente antes de lançá-lo para seus usuários. Vamos dar uma olhada.

Preview (Visualização) (1): é interessante quando você chega à etapa no Criador do Agentforce em que pode começar a conversar com seu agente no painel Preview (Visualização). O painel Preview (Visualização) permite que você simule conversas que seus usuários podem ter com seu agente para ver se ele responde da maneira esperada. Você pode escolher entre dois modos de Preview (Visualização) (2):

• Simulate (Simulação) - Teste seu agente com ações e dados simulados.
  
• Live Test (Teste ao vivo) - Use dados reais para ver o desempenho do agente.
  

O resultado gerado em Preview (Visualização) permite que você veja se seu agente fornece respostas úteis e relevantes, aciona as ações corretas, consulta seus processos de negócios corretamente e mantém as proteções que você definiu.

Interaction Summary (Resumo da interação) (3): analise geral das etapas que o agente utilizou para retornar a resposta, incluindo os subagentes e o raciocínio utilizados.

Agentforce Session Tracing (Rastreamento de sessões do Agentforce (4): Visualize todos os detalhes que ocorreram durante uma sessão do agente para investigar ou solucionar problemas nas interações do agente. Analise as execuções do mecanismo de raciocínio, ações, entradas/saídas de prompts e gateways, mensagens de erro e respostas finais na visualização de texto ou código (5), tudo organizado na ID da sessão de cada sessão. O Agentforce Session Tracing (Rastreamento de sessões do Agentforce) requer o Data 360.

O Session Tracing (Rastreamento de sessões) do Agentforce também é útil após o lançamento do agente, pois você pode revisar os tipos de trocas de conversas que seus usuários têm com seus agentes, incluindo a entrada fornecida ao agente e como ele a respondeu. Isso pode ajudar você a localizar e corrigir um problema ou ajustar seu agente para tratar de entradas que você não tinha previsto. O Session Tracing (Rastreamento de sessões) informa se você precisa definir outras proteções ou aprimorar suas instruções ou ações para fornecer respostas mais direcionadas.

Test Suites (Pacotes de testes) do Estúdio do Agentforce

Depois de aprimorar o desempenho do seu agente no Criador do Agentforce, você estará pronto para testá-lo no Test Suites (Pacotes de testes) do Estúdio do Agentforce. Para acessar o recurso Test Suites (Pacotes de testes) (Beta), no Iniciador de Aplicativos, abra o Estúdio do Agentforce e clique em Tests (Testes).

Você pode estar pensando: "Já testei meu agente em Preview (Visualização) do Criador do Agentforce, por que preciso testá-lo em lote no Test Suites (Pacotes de testes) (Beta)? Bem, levaria muito tempo para pensar em todas as maneiras pelas quais um usuário poderia fazer uma pergunta ou interagir com seu agente e, em seguida, testá-las uma a uma na janela Preview (Visualização). O Test Suites (Pacotes de testes) (Beta) simplifica os testes permitindo testar dezenas ou até centenas de cenários de uma só vez. Por exemplo, você pode carregar um arquivo .csv com cenários de teste que você escreveu em linguagem natural ou pode solicitar que o Test Suites (Pacotes de testes) (Beta) use IA para gerar entradas de teste relevantes para as tarefas que seu agente executa.

Quando um teste em lote é executado, os resultados mostram a entrada que foi testada juntamente com os subagentes e ações esperados e reais que foram chamados, a resposta esperada e se cada entrada foi aprovada ou reprovada. Se precisar de mais informações sobre o motivo da falha de uma entrada de teste, você pode copiar e colar a entrada no painel Preview (Visualização) do Criador do Agentforce e revisar o caminho percorrido pelo agente para chegar à resposta com falha na tela do plano. Isso ajuda você a aprimorar ainda mais suas instruções, o que, por sua vez, melhora a experiência do usuário. Para obter informações detalhadas sobre o Test Suites (Pacotes de testes) e escrever ou gerar cenários de teste, consulte Agentforce: Testes de agente.

Considerações sobre testes do agente

Nos testes de aplicativos tradicionais, você planeja cada detalhe do aplicativo antes mesmo de começar a criá-lo. O sucesso é medido pela produção de resultados previsíveis e replicáveis; é determinístico. Sua solução funciona da maneira pretendida ou não. Por outro lado, embora o desenvolvimento de um agente também exija planejamento prévio, você aprimora, testa e revisa seu agente durante a criação. Os testes do agente são probabilísticos, ou seja, seus resultados podem ser menos previsíveis, exclusivos e, às vezes, surpreendentes devido à falta de lógica baseada em regras da IA ​​generativa. A mesma entrada pode gerar muitas respostas diferentes, mas ainda assim respostas corretas, respostas incorretas ou, ocasionalmente, até alucinações. Também é difícil antecipar todas as formas como um usuário pode interagir com o agente, portanto, você precisa considerar e testar uma variedade de cenários ao criá-lo. Dessa forma, você minimiza as respostas que não correspondem à entrada do usuário ou que são imprecisas.

Determinar quando seu agente está pronto para produção

A natureza probabilística do comportamento do agente torna um pouco incerto determinar quando ele está pronto para produção. Cada empresa precisa definir sua própria linha de base para taxas de aprovação/reprovação em vários cenários. Não existe uma única resposta correta e o nível de precisão desejado pode variar de acordo com o setor. Um bom ponto de partida é considerar a precisão com que um humano executaria a mesma tarefa, por exemplo, responder a perguntas sobre reservas, e usar isso como a linha de base. Em seguida, você pode fazer o possível para garantir que seu agente atinja ou supere esse nível de precisão.

Sempre testar em uma sandbox

Testar seus agentes pode modificar seus dados de CRM, portanto, sempre use Test Suites (Pacotes de testes) (Beta) em um ambiente de sandbox, nunca em seu ambiente de produção.

Usar vários critérios para avaliar sua resposta

Para obter as respostas desejadas nas entradas do painel Preview (Visualização), provavelmente será necessário realizar algumas tentativas. A criação de um agente é um processo iterativo. E para considerar os diversos tipos de entrada, você precisa fazer alguma revisão no texto, incluindo aprimorar a redação, verificar permissões, validar dados ou adicionar mais detalhes ou proteções às suas instruções.. O feedback que você recebe na tela do plano, logs de eventos ou Test Suites (Pacotes de testes) (Beta) ajudará você a aprimorar e identificar onde precisa aprimorar os subagentes, ações ou instruções do agente para obter respostas mais próximas do nível de precisão desejado.

Veja alguns pontos-chave a serem considerados ao testar seu agente e maneiras de lidar com ele.

Custos dos testes

Uma última consideração a ser feita em relação aos testes é o custo para realizá-los. Testar seu agente no Test Suites (Pacotes de testes) (Beta) pode consumir solicitações ou créditos. Essas solicitações e créditos são métricas de uso cobráveis ​​para IA generativa que geram custos para sua organização. Para saber mais, consulte a documentação de ajuda Tipos de uso cobráveis ​​de IA generativa ou fale com seu executivo de contas.

Finalizar

Os Testes do agente exigem uma forma diferente de pensar e trabalhar em comparação com os testes de aplicativos tradicionais. Ao considerar todas as variáveis ​​que podem afetar as respostas do agente, não é de se admirar que o sucesso dos testes do agente seja mais subjetivo se comparado ao teste de um software tradicional. Dominar as ferramentas de teste do Agentforce e entender como mitigar os fatores que afetam o desempenho do agente pode ajudar você a atingir rapidamente o nível de precisão desejado. Na próxima unidade, você aprenderá a importância de criar uma estratégia de testes do agente para orientar seus testes.

Recursos

• Trailhead: Noções básicas do Criador do Agentforce
• Blog: Seu agente está pronto para a produção?
• Ajuda do Salesforce: Rastreamento de sessões do Agentforce
• Ajuda do Salesforce: Avalie a qualidade de uma resposta
• Ajuda do Salesforce: Tipos de uso cobrável da IA generativa