Avaliar um modelo

Objetivos de aprendizagem

Após concluir esta unidade, você estará apto a:

• Explicar o que é um modelo e de onde ele vem.
  
• Descrever por que você usa métricas de modelo para entender a qualidade do modelo.
  

Modelos, variáveis e observações

Para rever o que você aprendeu anteriormente neste módulo: um modelo é um construto matemático sofisticado e personalizado, baseado em uma compreensão estatística e abrangente dos resultados passados. O Einstein Discovery gera (treina) um modelo baseado nos dados. O Einstein usa o modelo para produzir insights comparativos e de diagnóstico. Depois de implantar um modelo na produção, você pode usá-lo para obter previsões e melhorias para seus dados ativos (mais sobre isso depois!).

Variáveis

Então, vamos explorar os modelos mais a fundo. Primeiro, é útil saber que um modelo organiza dados por variáveis. Uma variável é uma categoria de dados. É análoga a uma coluna em um conjunto de dados do CRM Analytics ou um campo em um objeto do Salesforce. Um modelo tem dois tipos de variáveis: entradas (variáveis do preditor) e saídas (previsões). 

Observações

As previsões ocorrem no nível das observações. Uma observação é um conjunto estruturado de dados. É análoga a uma linha preenchida em um conjunto de dados do CRM Analytics ou um registro em um objeto do Salesforce.

Para cada observação, o modelo aceita um conjunto de variáveis do preditor como entrada (1) e retorna uma previsão correspondente (2) como saída. Se solicitado, o modelo também pode retornar preditores e melhorias de nível superior. Nesta ilustração, o resultado real (IsWon) ainda não é conhecido.

Modelos estão por toda parte

Os modelos não são exclusivos do Einstein Discovery ou do Salesforce. De fato, modelos preditivos são usados extensivamente em todo o mundo — entre indústrias, organizações, disciplinas — e estão envolvidos em tantos aspectos da vida cotidiana. Cientistas de dados e outros especialistas aplicam seus talentos formidáveis para projetar e construir modelos de alta qualidade que possam gerar previsões muito precisas e úteis.

No entanto, um desafio comum para muitas organizações é que, uma vez construído, um modelo bem elaborado pode ser difícil de implementar em ambientes de produção e de integrar perfeitamente com as operações que são projetados para beneficiar. Com o Einstein Discovery, agora você pode operacionalizar rapidamente seus modelos: Construa-os, implante-os na produção e, em seguida, comece a obter previsões e a tomar decisões de negócios melhores imediatamente, usando dados dinâmicos. Você pode até operacionalizar modelos construídos externamente carregados no Einstein Discovery. 

O que é um bom modelo?

Naturalmente, se você vai basear decisões de negócios nas previsões que seu modelo produz, vai querer um modelo que será muito bom em prever resultados. No mínimo, você vai querer um modelo que faça um trabalho melhor na previsão de resultados do que aquilo que possui na ausência de um modelo, que é simplesmente um palpite aleatório que resulta numa tomada de decisão sem dados!

Então, o que torna um modelo bom? Em linhas gerais, um bom modelo atende aos requisitos de sua solução, produzindo previsões suficientemente precisas para apoiar suas metas de melhoria de resultados. Simplificando, você quer saber o quanto os resultados previstos de um modelo correspondem aos resultados reais.

Para ajudá-lo a determinar o desempenho do seu modelo, o Einstein Discovery fornece métricas de modelo que visualizam medidas comuns de desempenho do modelo. (Os cientistas de dados conhecem isso como estatísticas de ajuste, que quantificam o quão bem as previsões do seu modelo se encaixam nos dados do mundo real.) Lembre-se que modelos são aproximações abstratas do mundo real; logo, todos os modelos são inevitavelmente imprecisos até certo ponto. Na verdade, um modelo "perfeito" deve levantar suas suspeitas, não suas esperanças (mais sobre isso adiante). 

Ao pensar em modelos, é útil considerar a declaração frequentemente citada, atribuída ao estatístico George Box: "Todos os modelos estão errados, mas alguns são úteis."

Então, vamos aprender o quanto seu modelo pode ser útil.

Explorar desempenho do modelo

No Einstein Discovery, o desempenho do modelo revela medidas de qualidade e detalhes associados de um modelo. O desempenho do modelo ajuda a avaliar a capacidade de um modelo de prever um resultado. As métricas de desempenho do modelo são calculadas usando os dados do conjunto de dados do CRM Analytics usado para treinar seu modelo. Para cada observação no conjunto de dados que tem um resultado conhecido (observado ou real), o Einstein Discovery calcula uma previsão e, em seguida, compara o resultado previsto com o resultado real para determinar sua precisão.

Importante: O Einstein Discovery fornece muitas métricas diferentes para descrever o modelo que foi construído para você — na verdade, métricas demais para abordar neste módulo. Não se preocupe: não é necessário conhecer todas, ou mesmo a maioria delas. Nós abordamos apenas as mais importantes aqui. 

Ao fornecer um conjunto abrangente de métricas, o Einstein Discovery torna seu modelo totalmente transparente, com muitas maneiras de avaliar o desempenho de diferentes perspectivas. Dessa forma, você pode avaliar a qualidade do modelo usando as métricas que fazem mais sentido para a sua solução, incluindo aquelas não abordadas nesta unidade.

O Einstein Discovery também ajuda você a interpretar essas métricas sem precisar entender todas as nuances e a matemática envolvidas no cálculo delas. Se você quiser saber mais sobre uma determinada métrica ou tela não coberta nesta unidade, clique na bolha de informações ou em Learn more (Saiba mais) .

Visão geral do desempenho do modelo

O desempenho do modelo é a primeira página que você vê quando abre o modelo. Use-o para avaliar a qualidade do seu modelo.

Observação: Os casos de uso de classificação numérica e binária têm métricas de modelo diferentes. Neste módulo, focamos nas métricas de modelo para maximizar isWon, um caso de uso de classificação binária.

O painel esquerdo (1) exibe:

• Navegação para seções do Modelo
  
• Insights de dados e Favoritos
  
• Links para outras ações
  

O painel Caminho para a implantação (2) exibe:

• Precisão do modelo de revisão: Para soluções de classificação binária, a estatística de Área sob a curva (AUC) é frequentemente onde os cientistas de dados olham primeiro para avaliar a qualidade do modelo. Nosso objetivo é ter um AUC maior que 0,5 (chance aleatória) e menor que 1,0 (uma previsão perfeita, o que geralmente indica um problema de vazamento de dados). Nosso modelo tem um valor AUC de 0,8183, que está na faixa boa.
  Observação: Uma métrica comparável para modelos numéricos é r^2, que mede a capacidade de um modelo de regressão de explicar variações no resultado. A R^2 varia de zero (chance aleatória) a um (modelo perfeito). Em geral, quanto maior a R^2, melhor o modelo prevê resultados.
  
• Defina um limite: Para modelos de classificação binária, o limiar é o valor que determina se uma previsão é classificada como verdadeira ou falsa com base na pontuação preditiva, que é um número entre 0 e 1. Em nosso exemplo, se a pontuação preditiva é de 0,4654 ou superior, então o resultado previsto é TRUE. Um aprofundamento nos limiares está fora do escopo deste módulo. Basta dizer que, dependendo dos requisitos de sua solução, você pode ajustar seu modelo para favorecer um resultado em detrimento de outro.
  
• Avalie a prontidão da implantação: O Einstein Discovery realiza uma verificação de qualidade do modelo e revela os problemas detectados aqui. No seu exemplo, não há alertas de dados porque você já os resolveu em uma unidade anterior.
  

Os Dados de treinamento e o painel Modelo (3) exibem:

• Distribuição da variável de resultado: Mostra quantos valores TRUE e FALSE observados (resultados reais) existem nos dados de treinamento.
  
• Principais preditores: Mostra as variáveis do preditor com maior correlação com o resultado. Em nossos dados de exemplo, Tipo de oportunidade tem a maior correlação, seguido por Setor.
  

Exame da previsão

Clique na guia Exame de previsão.

O painel Einstein Prediction à direita compara, para a linha selecionada nos dados de treinamento, o resultado previsto com o resultado real, bem como os principais fatores que contribuíram para o resultado previsto. Clique em qualquer linha para atualizar este painel.

Esta tela é como um teste prático: é uma prévia útil de como o modelo pode prever resultados depois de implantado. A AUC forneceu uma medida agregada do modelo, mas esta tela permite que você se aprofunde e analise as previsões de seus modelos de forma interativa. 

Observação: O Einstein Discovery toma uma amostra aleatória dos dados no conjunto de dados, de modo que os dados na sua tela serão diferentes desta captura de tela.

Explorar previsões e melhorias

Vamos aproveitar o poder do Einstein Discovery para prever o futuro. Nesta seção, coloque o Einstein para trabalhar selecionando um cenário e fazendo com que ele calcule resultados futuros estatisticamente prováveis e sugestões sobre como melhorar o resultado.

Observação: esta unidade cobre o uso do seu modelo para explorar previsões e aprimoramentos do tipo “e se”. Mais tarde, você aprenderá como implantar seu modelo no Salesforce para obter previsões e aprimoramentos em seus registros atuais.

No painel de navegação à esquerda, clique em Previsões. 

O painel à direita é onde você seleciona entradas para o modelo.

Em Selecionar um grupo para prever, para Tipo de oportunidade, selecione Novo negócio/Complemento, e para Setor, selecione Bancário (1). Selecione o botão Acionável ao lado de Fonte do lead (2) para ver as melhorias.

Na página principal, você visualizará esses painéis (pode ser necessário rolar para baixo para ver tudo).

• As Previsões do Einstein (1) mostram a pontuação de previsão para suas seleções. Neste exemplo, o resultado previsto é IsWon: True.
  
• As Principais melhorias (2) mostram ações sugeridas que podem ser realizadas para melhorar o resultado previsto. Neste exemplo, alterar a fonte do lead da oportunidade para indicação de parceiro melhora o resultado previsto em 0,067.
  
• A Visão geral do modelo (3) mostra métricas de qualidade para o seu modelo.
  
• Os Principais fatores preditivos (4) mostram variáveis explicativas, favoráveis e desfavoráveis, que estão mais fortemente associadas ao resultado previsto. No nosso exemplo, se o Tipo de oportunidade é Novo negócio/Complemento, há melhoria de 14,18% no resultado previsto.
  
• Os Insights (5) mostram insights adicionais associados à sua seleção.
  

O que vem a seguir?

Agora que você avaliou o modelo, vamos dar uma olhada nos insights de dados.

Recursos

• Ajuda do Salesforce: Avaliar a qualidade do modelo