Analisar, revisar e salvar modelos de prompt
Objetivos de aprendizagem
Após concluir esta unidade, você estará apto a:
- Relembrar como pode aumentar a precisão e limitar a toxicidade em uma resposta de prompt.
- Falar sobre como analisar e revisar uma resposta de prompt.
Visualizar seu prompt
Depois de Linda fazer o rascunho de seu Modelo de prompt flexível, é hora de testá-lo. O Prompt Template Workspace (Workspace do modelo de prompt) consiste em duas seções. A parte de cima envolve criar o modelo de prompt, adicionar recursos e instruções. O lado direito exibe as Propriedades do modelo, que inclui o workspace do Einstein Studio e o modelo selecionado no Einstein Studio.
Quando você usa um Modelo de prompt flexível e define três ou mais entradas para ele, vê uma guia adicional chamada Test Records (Registros de teste) no painel de configuração.
A parte inferior do Workspace do modelo de prompt tem uma seção chamada Prompt Preview (Visualização do prompt). Essa seção está dividida em duas partes.
O lado esquerdo é a Resolution (Resolução). É onde seu prompt embasado (o prompt “resolvido”) é mostrado. A resolução mostra como os prompts e os recursos dos registros selecionados são resolvidos com base no modelo. Para cada recurso de campo de mesclagem, todos os valores de campo de CRM associados são incluídos para os registros selecionados. Para cada recurso de fluxo, o Einstein exibe a saída do fluxo. O lado direito é a Response (Resposta) e exibe o texto gerado do LLM.
Sempre que você revisar o modelo e regenerar a visualização, o Einstein mostrará uma resolução e uma resposta de prompt atualizadas. Repita esse processo até ter um prompt e uma resposta eficazes e seguros.
Linda usa o painel Preview (Visualização) para rever a resposta do LLM. Ao ver a reposta imediata, Linda pode avaliar se é necessário fazer ajustes no modelo.
Linda quer testar o modelo de prompt de email de vendas da unidade anterior. Vamos ver como ele fica na visualização. Abaixo está o prompt de email de vendas de Linda da unidade 2.
|
Você é No email, convide o cliente em potencial a participar de um evento para clientes da Cloud Kicks antigos e recentes se conhecerem e verem novos produtos, em, no máximo, 70 palavras. Explique ao cliente em potencial as possíveis vantagens de participar do evento e mencione que você estará disponível para conversar mais com ele no evento ou online se ele precisar de mais informações. Adicione as seguintes informações do evento ao email: |
|---|
Rever uma resposta gerada
Linda pode escolher quais objetos são usados para testar seu modelo de prompt. Linda seleciona o registro de destinatário (Andy Smith - Contact) (Andy Smith - Contato) e clica em Save & Preview (Salvar e visualizar). Agora Linda pode ver o modelo de prompt "resolvido", que é o prompt depois que os campos de mesclagem foram substituídos com dados do registro selecionado.
|
Você é uma Administradora do Salesforce e seu nome é Linda Rosenberg da Cloud Kicks. Seu cliente em potencial é Andy Smith, um gerente de vendas. Seu escritório fica em Toronto. No email, convide o cliente em potencial a participar de um evento para clientes da Cloud Kicks antigos e recentes se conhecerem e verem novos produtos, em, no máximo, 70 palavras. Explique ao cliente em potencial as possíveis vantagens de participar do evento e mencione que você estará disponível para conversar mais com ele no evento ou online se ele precisar de mais informações. Instruções: """ Adicione as seguintes informações do evento ao email: Nome do evento: Floating on Clouds: Toronto Descrição: A Cloud Kicks convida você para uma noite inesquecível no reino encantado dos tênis personalizados. De designs inovadores a tamanhos personalizados, este evento VIP é onde o estilo e o desempenho se encontram. Local: Toronto, Ontário Duração: 18/9, 14:00 - Nome do evento: Floating on Clouds: Houston Descrição: Participe do nosso evento nacional exclusivo onde você verá em primeira mão os tênis esportivos de edição limitada mais aguardados. Local: Houston, Texas Duração: 17/7, 15:00 - Termine o email com uma chamada clara à ação para participar do evento. """ |
|---|
No teste de Linda, o modelo retorna todos os eventos patrocinados pela Cloud Kicks. Isso é esperado e mostra o poder do uso do Apex nos modelos de prompt. A classe do Apex ContactEventsPrompt que Linda criou retorna todos os eventos futuros patrocinados pela Cloud Kicks. O modelo dá ao LLM todas as informações necessárias para agregar ou simplificar a saída de dados.
A seguir, você pode ver que na Resposta, com base nas instruções "específicas" do modelo de prompt de Linda, o Einstein pode gerar um email com base nos dados do Salesforce. Perfeito!
|
Assunto: Junte-se a nós no Floating on Clouds: Toronto! Corpo: Prezado Andy Smith, Espero que tudo esteja bem por aí. Queria te convidar pessoalmente para participar de um evento muito interessante perto de você. A Cloud Kicks está fazendo um evento VIP exclusivo chamado Floating on Clouds: Toronto. Nesse evento, você terá a oportunidade de experimentar a magia dos designs e tamanhos personalizados. É o casamento perfeito entre estilo e desempenho, e garantimos que será uma noite inesquecível. Nome do evento: Floating on Clouds: Toronto Data: 18/9, 14:00 Local: Toronto, Ontário Sabemos que você pode ter dúvidas sobre nossos produtos e como eles podem melhorar seu desempenho. Garanto a você que nossa equipe estará disponível no evento para responder às suas dúvidas. Marque esse evento exclusivo na sua agenda e participe no dia 18/9 às 14:00 em Toronto, Ontário. Vamos amar ver você lá! Se tiver dúvidas ou quiser mais informações, pode entrar em contato comigo diretamente. Estou à disposição. Espero ver você no Floating on Clouds: Toronto! Atenciosamente, Linda Rosenberg Administrador do Salesforce Cloud Kicks |
|---|
Proteger-se da toxicidade
Até agora, tudo bem, mas há mais o que descobrir sobre a criação de conteúdo excepcional com IA generativa. Os grandes modelos de linguagem são treinados com grandes quantidades de dados. Isso gera um risco para o modelo de produzir palavras tóxicas que poderiam respingar nas suas respostas. Para evitar esse risco, você precisa adicionar limites e proteções aos modelos de prompt.
Vamos ver sete questões a serem consideradas na hora de criar proteções para ajudar na precisão e adequação da resposta e evitar toxicidade.
Considerações após a geração de uma resposta de prompt
Tópico |
Descrição |
Instruções de texto de prompt de exemplo (quando aplicável) |
|---|---|---|
Relevância do assunto |
A resposta do modelo precisa estar gramaticalmente correta na conversa em andamento e ter relevância direta para a solicitação geral do prompt. |
|
Conclusão da ação/do objetivo |
Avalie se a resposta está alinhada com a ação pretendida, se ela cumpre o objetivo do prompt e se satisfaz a necessidade do usuário abordando tudo o que o prompt solicitou. |
|
Adequação do registro/tom |
Ao avaliar a saída do modelo, analise se o tom de voz ou o estilo está adequado para a interação entre a resposta e o usuário. Verifique se o vocabulário, a pontuação e o estilo estão de acordo com as necessidades do seu usuário final. |
Assuma um tom tranquilo no resumo. |
Precisão factual |
Ao analisar a saída do modelo, verifique se há imprecisões ou alucinações. Verifique se ela usou dados do prompt corretamente e se evitou incluir especificidades não desejadas. |
Se seguiu as instruções com precisão e não adicionou informações não fornecidas. |
Repetição |
Considere a extensão da variação na resposta ao seu caso de uso específico. Avalie se ela atende às suas expectativas. Considere se o vocabulário repetitivo é aceitável para aumentar a conformidade. Decida também se é OK ter várias respostas soando parecidas ou usando os mesmos termos. |
Use linguagem clara, concisa e direta, use a voz ativa e evite o uso de marcas de oralidade e pleonasmo. |
Toxicidade |
Verifique se há conteúdo possivelmente nocivo na resposta, por exemplo, linguagem ofensiva, desrespeitosa ou abusiva que poderia prejudicar a experiência do usuário. |
|
Viés/ética |
Verifique se a resposta promove a imparcialidade e a inclusividade. Examine se há vieses sutis na linguagem da resposta. Verifique se ela não:
|
Você precisa tratar de forma igualitária todas as pessoas de status socioeconômicos, orientações sexuais, religiões, raças, aparências físicas, nacionalidades, identidades de gênero, incapacidades e idades diferentes. Quando você não tiver informações suficientes, precisará escolher a opção desconhecida em vez de fazer suposições com base em estereótipos. |
Agora que você entendeu o que deve analisar na hora de examinar os modelos de prompt, vamos voltar ao modelo de prompt de email de vendas e criar outra versão que inclui proteções.
Como salvar e controlar a versão dos modelos de prompt
O Prompt Builder dá aos usuários a flexibilidade para modificar ou controlar a versão facilmente de um modelo de prompt quando necessário. Navegue até o workspace do modelo de prompt, selecione e modifique seu modelo de prompt. Depois disso, você pode testar novamente escolhendo um destinatário ou registro e clicando em Save & Preview (Salvar e visualizar) no painel Preview (Visualização).
Linda já pode atualizar seu modelo de prompt para incluir proteções. Em seu modelo de prompt aberto, ela clica em Save As (Salvar como). Existem duas opções listadas.
-
Save as a New Version (Salvar como nova versão): Permite o acesso para mudanças incrementais no mesmo modelo de prompt com o mesmo nome do modelo.
-
Save as a New Template (Salvar como novo modelo): Cria outro modelo de prompt com um novo nome de modelo e API.
Linda está interessada em criar outra versão. Ela seleciona Save as a New Version (Salvar como nova versão).
No modelo de prompt a seguir, o texto mostra as revisões que Linda adicionou para que as respostas sejam confiáveis e livres de preconceito e toxicidade.
|
Você é No email, convide o cliente em potencial para participar de um evento para clientes da Cloud Kicks novos e antigos a fim de poderem se conhecer e ver novos produtos, em, no máximo, 70 palavras. Explique ao cliente em potencial os possíveis benefícios de participar do evento e mencione que você gostaria de conversar com ele no evento ou online caso precise de mais informações. Você precisa tratar de forma igualitária todas as pessoas de status socioeconômicos, orientações sexuais, religiões, raças, aparências físicas, nacionalidades, identidades de gênero, incapacidades e idades diferentes. Quando você não tiver informações suficientes, precisará escolher a opção desconhecida em vez de fazer suposições com base em estereótipos. Instruções: """ Siga as instruções com precisão e não adicione informações não fornecidas. Resuma em uma frase e use linguagem clara, concisa e direta, use a voz ativa e evite o uso de marcas de oralidade e pleonasmo. Assuma um tom tranquilo no resumo. No email, convide o cliente em potencial a participar do evento em, no máximo, 70 palavras. Adicione as seguintes informações do evento ao email: |
|---|
Depois de rever o modelo de prompt, basta clicar em Save (Salvar) e em Activate (Ativar) e ele ficará pronto para uso.
A versão ativa de um modelo é a versão que será usada pelos outros recursos. Por exemplo, quando um usuário faz o rascunho de um email ou gera campos de registro com o Einstein, a versão ativa do modelo é usada.
Ótimo trabalho! Aqui, você pode sugerir aos seus colegas enviar esses emails ou usar os campos de registro que acabaram de ficar mais inteligentes. Mas faça com que todos entendam que eles têm a responsabilidade de ser o "humano no ciclo" e rever todas as respostas antes de usá-las.
O Criador de prompts coloca o poder nas mãos dos administradores para definir modelos de prompt. Ele gera saídas personalizadas e traz todo o Customer 360 para a ponta dos seus dedos.