Testar e melhorar prompts
Objetivos de aprendizagem
Após concluir esta unidade, você estará apto a:
- Aplicar um ciclo de iteração de sete etapas para refinar prompts.
- Testar prompts com dados reais.
- Identificar e corrigir problemas comuns em prompts.
- Implantar e monitorar prompts em produção.
- Melhorar continuamente os prompts com base nos resultados.
O ciclo de iteração de sete etapas
Até as melhores receitas passam por várias rodadas de testes. Na primeira vez que você faz um suflê, ele pode não crescer direito. Você ajusta a temperatura, aprimora a técnica e tenta novamente. A iteração de prompts funciona exatamente da mesma forma. É raro acertar na primeira tentativa, e isso é totalmente normal. O ciclo de sete etapas abaixo oferece um processo repetível para alcançar o resultado desejado.
Testar e melhorar prompts é um processo contínuo. Siga estas sete etapas:
- Registar. Crie seu prompt inicial usando os seis componentes.
- Testar. Execute o prompt com base em dados de amostra e cenários reais.
- Avaliar. Meça os resultados com base em seus critérios de sucesso.
- Identificar problemas. Identifique o que funcionou e o que não funcionou.
- Refinar. Ajuste seu prompt com base no que você aprendeu.
- Testar novamente. Execute o prompt refinado com os mesmos dados de amostra.
- Implantar. Quando o prompt estiver funcionando bem, coloque-o em produção.
Siga essas etapas por ordem, mas não tenha medo de voltar atrás. A iteração não é um sinal de que algo deu errado; é assim que prompts bons se tornam excelentes.
Exemplo de geração de emails: do prompt inicial ao prompt final
Veja como o ciclo de iteração funciona na prática:
Prompt inicial (Versão 1):
Write a follow-up email to a customer Customer: Sarah Issue: Billing problem Status: Resolved
Resultado do teste: o email é genérico e não parece pessoal.
Prompt refinado (Versão 2):
Write a follow-up email to Sarah who had a billing issue Include: - Apology - Explanation of what happened - What we did to fix it Tone: Professional and empathetic
Resultado do teste: melhorou, mas ainda faltam detalhes sobre a resolução real.
Prompt final (Versão 3):
Role: You are a customer service manager Context: Sarah is a 2-year customer who experienced a billing error. We discovered we overcharged her $150 due to a system error on her third billing cycle. We've issued a full refund and applied a $50 loyalty credit. Task: Write a follow-up email thanking her for her patience and restoring confidence """ Customer: Sarah Issue: Billing error ($150 overcharge) Our action: Full refund issued, $50 loyalty credit applied Customer's response so far: Frustrated but cooperative """ Instructions: - Start with a sincere apology - Explain the root cause (system error on our part, not her mistake) - Confirm the refund and loyalty credit - Thank her for giving us a chance to fix it - Mention one way we're improving our billing system - Include a discount code for her next purchase (15% off) Tone: Warm, professional, genuinely apologetic Format: Email with subject line Constraints: Keep body under 200 words
Resultado final: o email parece pessoal, específico e demonstra um esforço genuíno para restabelecer o relacionamento. Sarah se sente ouvida e valorizada.
Restrições da Salesforce Platform
Antes de fazer implantar, vale a pena entender como o Salesforce lida com os resultados dos prompts. O tipo de campo que você deseja obter afeta diretamente como você cria seu prompt. Um prompt que gera um resumo de 500 palavras não cabe em um campo de texto padrão. Conhecer esses limites desde o início evita que você precise refazer tudo depois.
Ao implantar prompts no Salesforce, leve em conta estes limites de campo:
Campo de texto
- Limite de caracteres: 255 caracteres
- Uso: respostas curtas, resumos, resultados de uma única linha
- Limitação: não é possível usar para conteúdos extensos
Área de texto longo
- Limite de caracteres: 131.072 caracteres (cerca de 20.000 palavras)
- Uso: emails completos, descrições detalhadas, conteúdo com vários parágrafos
- Vantagem: espaço suficiente para a maioria dos casos de uso
Área de texto avançado
- Limite de caracteres: 131.072 caracteres
- Uso: conteúdo com formatação, listas, destaques
- Vantagem: suporta negrito, itálico, marcadores e listas numeradas
- Ideal para: emails formatados, guias detalhados, conteúdo estruturado
Sugestão de implantação: crie seu prompt pensando no campo de destino. Se você fizer a implantação em um campo de texto, o limite deve ser inferior a 255 caracteres.
Monitoramento e melhoria contínua
A implantação não é a linha de chegada. É a linha de partida. O Criador de prompts inclui ferramentas integradas para ajudar você a monitorar o desempenho após a ativação. Você pode visualizar prompts com entradas de dados reais, acompanhar o uso de tokens, monitorar o tempo de resposta e comparar resultados entre diferentes modelos ou versões. Use essas ferramentas para identificar problemas antecipadamente e refinar continuamente.
É como provar o prato enquanto você ainda está cozinhando. Não espere que o prato chegue à mesa para descobrir que algo deu errado.
Fique atento a estes sinais de que um prompt precisa de atenção:
- Resultados inconsistentes para entradas semelhantes
- Respostas genéricas ou que ignoram a questão
- Resultados cortados ou truncados
- Tempos de resposta visivelmente lentos
- Feedback dos usuários indicando que o resultado não é útil
Se você notar problemas, volte para refinar seu prompt e repita o processo.
Problemas comuns em prompts e como corrigi-los
Até os prompts bem elaborados podem ter problemas. Veja os problemas mais comuns e como resolvê-los:
Problem (Problema) | Sintoma | Correção |
|---|---|---|
Muito vago | Resultado genérico e sem utilidade | Adicionar mais detalhes à sua tarefa e às instruções |
Muito longo | Respostas lentas ou truncadas | Dividir em prompts menores e mais específicos |
Instruções conflitantes | Resultados inconsistentes | Verificar se há contradições e simplificar |
Tipo de campo incorreto | Os resultados são cortados | Adaptar os resultados do seu prompt ao tamanho do campo de destino |
Dados repetidos | Resultados inesperados ou inconsistentes | Aplicar o princípio de referência única |
Lista de verificação de implantação
Use esta lista de verificação antes de implantar qualquer prompt em produção para garantir que ele esteja pronto para uso no mundo real.
- Testado com pelo menos 20 exemplos representativos.
- Critérios de sucesso claramente definidos e atendidos.
- Modelo selecionado e testado (não presumido).
- O prompt segue a estrutura de seis componentes.
- Restrições de tamanho de campos verificadas.
- Casos extremos identificados e tratados.
- Documentação escrita para o prompt.
- Métricas de sucesso definidas para monitoramento.
- Plano estabelecido para coletar feedback dos usuários.
- Planificação de monitoramento e refinamento definida.
Após a implantação, torne a melhoria contínua uma parte integrante do seu processo. Os melhores prompts evoluem ao longo do tempo com base no uso real.