Criar e avaliar um modelo de IA

Objetivos de aprendizagem

Após concluir esta unidade, você estará apto a:

Descrever como criar um modelo usando o Criador de modelos.
Descrever por que você usa métricas para entender a qualidade do modelo.
Listar algumas métricas usadas para avaliar o desempenho do modelo.

Criar e avaliar um modelo

Você aprendeu que modelos de IA são o “como” por trás do “quê”. Com os modelos de IA, você pode aumentar sua Business Intelligence, agilizar seus fluxos de trabalho, capacitar seus usuários para que tomem decisões melhores e muito mais. Melhor dizendo, os modelos de IA permitem a você tirar proveito dos seus dados mandando uma máquina analisar e se especializar neles para depois aplicar essa especialização a novos dados.

Preparação dos dados

A maior parte do trabalho exigido para se criar um modelo preditivo na verdade está na preparação dos dados. É por isso que os especialistas ou analistas de dados deveriam se sentir capacitados a criar um modelo, já que realmente conhecem os dados. Na primeira versão, o Criador de modelos do Einstein Studio pode treinar um modelo com base em um único Objeto de modelo de dados (DMO) no Data Cloud.

Embora tenhamos a intenção de facilitar isso no futuro, já existem muitas ferramentas no Data Cloud que permitem aos usuários preparar e modelar dados a fim de formar uma tabela de dados que pode ser representada como um único DMO desnormalizado. Veja um exemplo de como as Transformações de dados em lote podem criar um DMO para treinar um modelo.

Etapas para criar um novo modelo

Crie um novo modelo preditivo de IA usando o Criador de modelos em sete etapas com cliques, não código. Para saber mais, acesse Etapas para criar um modelo na Ajuda do Salesforce.

Vamos usar este exemplo de criar um modelo do zero para prever a probabilidade de perda de clientes. Clique nas etapas usando os botões Next (Avançar) e Previous (Anterior).

Variáveis e observações

Para rever o que você aprendeu anteriormente neste módulo, um módulo preditivo usa aprendizagem de máquina para prever resultados futuros. Quando você cria um modelo usando o Criador de modelos, o Einstein não só analisa os dados e cria um modelo preditivo, como produz as métricas de treinamento para você poder avaliar o modelo.

Variáveis

Os modelos organizam dados por variáveis. Uma variável é uma categoria de dados, como um campo no Salesforce ou uma coluna em uma planilha. Entradas conhecidas como variáveis explicativas ou de preditor são usadas para gerar previsões.

Observações

As previsões ocorrem no nível das observações. Uma observação é um conjunto estruturado de dados, como um registro no Salesforce ou uma linha em uma planilha.

A imagem é um diagrama de fluxo demonstrando como um modelo preditivo usa variáveis de entrada relativas a contratos de clientes para prever se um cliente vai cancelar ou não, indicando a previsão como “VERDADEIRA”.

Para cada observação, o modelo usa um conjunto de variáveis de preditor como entrada (1) e retorna uma previsão correspondente (2) como saída. O modelo também pode retornar as principais variáveis que tenham maior impacto na previsão. Nesta ilustração, o resultado real, cancelamento, ainda não é conhecido.

Métricas de treinamento

Os modelos criados do zero no Criador de modelos (conhecidos como modelos criados pelo Einstein) vêm com métricas de treinamento. As métricas de treinamento ajudam você a entender como seu modelo de IA foi treinado e a avaliar sua qualidade.

As métricas de treinamento são calculadas com base nos dados usados para treinar seu modelo. Para cada observação que tem um resultado conhecido (observado ou real), uma previsão é calculada e, em seguida, comparada com o resultado real para determinar sua precisão.

Importante: existem várias métricas de treinamento diferentes; na verdade, mais do que seria possível abordar neste módulo. Não se preocupe: não é necessário conhecer todas, ou mesmo a maioria delas. As métricas de treinamento incluem balões de informação para ajudar você a interpretar essas métricas sem precisar entender todas as nuances e a matemática envolvidas no cálculo delas. Com um conjunto abrangente de métricas de treinamento, você pode avaliar seu modelo com base nas suas necessidades. Dessa forma, você pode avaliar a qualidade do modelo usando as métricas que fazem mais sentido para a sua solução.

A precisão indica o grau de qualidade das suas previsões em uma escala de adivinhação aleatória a vazamento de dados pelo excesso de ajuste a um conjunto de dados específico. Você quer que ele tenha bom desempenho.
Os principais previsores são a entrada, ou as variáveis de preditor, com maior impacto na previsão do resultado.
A distribuição de variáveis mostra um histórico dos valores reais observados nos dados.

Página Model Training Quality (Qualidade do treinamento do modelo)

O que é um bom modelo?

Naturalmente, se você vai basear decisões de negócios nas previsões que seu modelo produz, vai querer um modelo que será muito bom em prever resultados. No mínimo, você vai querer um modelo que faça um trabalho melhor na previsão de resultados do que aquilo que possui na ausência de um modelo, que é simplesmente um palpite aleatório que resulta numa tomada de decisão sem dados!

Então, o que torna um modelo bom? Em linhas gerais, um bom modelo atende aos requisitos de sua solução, produzindo previsões suficientemente precisas para apoiar suas metas de melhoria de resultados. Simplificando, você quer saber o quanto os resultados previstos de um modelo correspondem aos resultados reais.

Para ajudá-lo a determinar o desempenho do seu modelo, os modelos criados pelo Einstein incluem métricas de treinamento que visualizam medidas comuns de desempenho do modelo. (Os cientistas de dados conhecem isso como estatísticas de ajuste, que quantificam o quão bem as previsões do seu modelo se encaixam nos dados do mundo real.) Lembre-se que modelos são aproximações abstratas do mundo real; logo, todos os modelos são inevitavelmente imprecisos até certo ponto. Na verdade, um modelo "perfeito" deve levantar suas suspeitas, não suas esperanças.

Ao pensar em modelos, é útil considerar a declaração frequentemente citada, atribuída ao estatístico George Box: "Todos os modelos estão errados, mas alguns são úteis."

Quando a qualidade do modelo estiver satisfatória, você pode ativá-lo para permitir o seu uso. Para saber mais, acesse Ativar seu modelo na Ajuda do Salesforce.

Procurando ajuda?