Entender por que a adequação do modelo importa

Objetivos de aprendizagem

Após concluir esta unidade, você estará apto a:

• Explorar por que a adequação do modelo é importante para a sua tarefa específica.
  
• Aplicar princípios de seleção de modelos.
  
• Testar modelos de forma eficaz para encontrar o melhor ajuste para a sua tarefa.
  
• Tomar decisões fundamentadas com bases em dados e não em suposições.
  

Por que a adequação do modelo importa

No Criador de prompts, você pode escolher qual modelo potencializa seu prompt. Ter opções significa tomar decisões e o modelo mais recente ou mais poderoso nem sempre é o mais adequado para a sua tarefa. O que importa é o desempenho do modelo no seu caso de uso específico. Isso significa que você precisa testar e verificar.

Pense nisso como escolher o forno certo. Um forno de convecção é ótimo para assar, mas pode ressecar um delicado pão de ló. A ferramenta certa depende do que você está fazendo, e a única forma de ter certeza é testando.

Quatro princípios de seleção de modelos

Princípio 1: Especificidade da tarefa: modelos diferentes se destacam em tarefas diferentes. Um modelo excelente em resumos pode não ser o melhor para escrita criativa. Teste o seu caso de uso específico.

Princípio 2: Desempenho, não data de lançamento: mais recente não significa melhor. O que importa é o desempenho do modelo na sua tarefa específica. Meça os resultados reais.

Princípio 3: Compromisso entre custo e precisão: modelos mais poderosos geralmente custam mais. Às vezes, um modelo mais rápido e barato produz resultados suficientemente bons. Faça testes para encontrar o equilíbrio ideal.

Princípio 4: Consistência e confiabilidade: Para uso em produção, você precisa de resultados consistentes. Teste um modelo várias vezes para garantir que ele produza de forma confiável a qualidade de que você precisa.

O exemplo de comparação de tradução

Vamos analisar um exemplo que mostra por que os testes são importantes.

Tarefa: traduzir as conversas de atendimento ao cliente de inglês para espanhol para os membros da equipe que falam espanhol.

Modelos testados:

• Modelo A (mais antigo, amplamente utilizado)
  
• Modelo B (divulgação mais recente)
  

Resultados:

• Modelo A: 95% de precisão em 100 traduções de teste
  
• Modelo B: 87% de precisão em 100 traduções de teste
  

Conclusão: para essa tarefa de tradução específica, o modelo A, mais antigo, superou o modelo B, mais recente, em 8 pontos percentuais. A equipe escolheu o modelo A, não por ser mais novo, mas porque produziu melhores resultados para a necessidade específica deles.

Diretrizes de seleção de modelo

A metodologia de testes

Para escolher seu modelo:

• Definir os critérios de sucesso. Como é um resultado “bom” para a sua tarefa? Identifique 2 a 3 critérios mensuráveis.
  
• Criar dados de teste. Prepare 10 a 20 exemplos representativos que correspondam ao uso na vida real.
  
• Testar cada modelo. Execute seu prompt em cada modelo candidato usando os dados de teste.
  
• Avaliar resultados. Avalie cada resultado com base nos seus critérios de sucesso.
  
• Analisar os dados. Qual modelo se destacou de acordo com seus critérios? A diferença foi significativa?
  
• Escolher com base em dados. Escolha o modelo que teve melhor desempenho no seu caso de uso real, e não com base na reputação ou na data de lançamento.
  

A seleção de modelos não precisa ser complicada. Defina o que significa um bom resultado, teste com dados reais e tome a sua decisão com base nos resultados. Na unidade final, você vai reunir tudo e aprender a testar, iterar e implantar seus prompts para uso no mundo real.