Evaluar un modelo

Objetivos de aprendizaje

Después de completar esta unidad, podrá:

• Explicar qué es un modelo y dónde se origina.
  
• Describir por qué se usan mediciones de modelos para comprender la calidad de un modelo.
  

Modelos, variables y observaciones

Para revisar lo que ya aprendió en este módulo, un modelo es una construcción matemática personalizada sofisticada que se basa en una comprensión integral y estadística de los resultados anteriores. Einstein Discovery genera (capacita) un modelo en función de los datos. Einstein usa el modelo para generar perspectivas comparativas y de diagnóstico. Una vez que implementa un modelo en producción, puede usarlo para derivar predicciones y mejoras de sus datos en vivo (abordaremos esto más tarde).

Variables

Analicemos los modelos un poco más. Primero, es útil saber que un modelo organiza los datos por variables. Una variable es una categoría de datos. Es análoga a una columna en un conjunto de datos de CRM Analytics o un campo en un objeto de Salesforce. Un modelo tiene dos tipos de variables: entradas (variables de predictor) y resultados (predicciones). 

Observaciones

Las predicciones ocurren en el nivel de observación. Una observación es un conjunto estructurado de datos. Es análoga a una fila completa en un conjunto de datos de CRM Analytics o un registro en un objeto de Salesforce.

Para cada observación, el modelo acepta un conjunto de variables de predictor como entrada (1) y devuelve una predicción correspondiente (2) como resultado. Si se lo solicita, el modelo también puede devolver los principales predictores y mejoras. En esta imagen, todavía no se conoce el resultado real (IsWon).

Los modelos están en todas partes

Los modelos no son exclusivos de Einstein Discovery o Salesforce. De hecho, los modelos de predicción se usan frecuentemente en todo el mundo, en diversas industrias, organizaciones y disciplinas, y forman parte de varios aspectos de la vida cotidiana. Los científicos de datos y otros especialistas aplican su talento a diseñar y construir modelos de alta calidad que pueden generar predicciones muy precisas y útiles.

Sin embargo, muchas organizaciones enfrentan un desafío común: una vez construido un modelo bien diseñado, puede ser difícil implementarlo en entornos de producción e integrarlo en las operaciones que deberían favorecer. Con Einstein Discovery, puede poner en práctica rápidamente sus modelos: puede construirlos, implementarlos en producción y comenzar a obtener predicciones y tomar mejores decisiones de negocios de inmediato y a partir de datos en vivo. Incluso puede poner en práctica modelos construidos externamente que cargue en Einstein Discovery. 

¿Qué identifica a un buen modelo?

Naturalmente, si basará sus decisiones de negocios en las predicciones generadas por su modelo, necesitará un modelo que sea muy eficaz para predecir resultados. Como mínimo, la idea es que el modelo sea mejor en la predicción de resultados que el método que usa habitualmente, que suele ser simplemente adivinar y tomar decisiones sin contar con datos reales.

¿Y qué características tiene un buen modelo? En general, un buen modelo cumple sus requisitos de soluciones porque genera predicciones con suficiente precisión para respaldar sus objetivos de mejora de resultados. Es decir, la idea es saber en qué grado los resultados predichos por un modelo coinciden con los resultados reales.

Como ayuda para identificar el nivel de desempeño de su modelo, Einstein Discovery ofrece mediciones de modelos que permiten ver mediciones comunes del desempeño del modelo. (Los científicos de datos identifican las estadísticas de ajuste, que cuantifican el grado de ajuste entre las predicciones del modelo y los datos reales). Tenga en cuenta que los modelos son aproximaciones abstractas del mundo real, por lo que todos conllevan un cierto grado de imprecisión. De hecho, un modelo "perfecto" debería despertar sospechas, más que ilusiones (como veremos más adelante). 

Al pensar en modelos, es útil tener en cuenta la conocida cita que se atribuye al estadístico George Box: "Todos los modelos son falsos, pero algunos son útiles".

Veamos cuál puede ser la utilidad de un modelo.

Explorar el desempeño del modelo

En Einstein Discovery, el desempeño de modelo revela las mediciones de calidad y los detalles asociados de un modelo. El desempeño de modelo ayuda a evaluar la capacidad de predicción de un resultado de un modelo. El desempeño del modelo se calcula a partir de los datos del conjunto de datos de CRM Analytics usados para capacitar el modelo. Para cada observación del conjunto de datos con un resultado (observado o real) conocido, Einstein Discovery calcula una predicción y, luego, compara el resultado predicho con el resultado real para determinar su precisión.

Importante: Einstein Discovery ofrece varias mediciones para describir el modelo que se generó. De hecho, son tantas que no podemos cubrirlas en este módulo. No se preocupe, no es necesario conocerlas todas, ni siquiera la mayoría. Aquí abarcaremos las más importantes. 

A través de un amplio conjunto de mediciones, Einstein Discovery hace que el modelo sea totalmente transparente y ofrece varias formas de evaluar el desempeño desde distintas perspectivas. De esta forma, puede evaluar la calidad del modelo a partir de las mediciones más relevantes para su solución, incluidas las que no se cubren en esta unidad.

Einstein Discovery también ayuda a interpretar estas mediciones sin necesidad de comprender todos los pormenores y las operaciones matemáticas implicadas en su cálculo. Para obtener más información sobre una medición o una pantalla particular que no se haya tratado en esta unidad, haga clic en la burbuja de información o en Más información .

Descripción general del desempeño del modelo

El desempeño del modelo es la primera página que ve cuando abre el modelo. Úselo para evaluar la calidad del modelo.

Nota: los casos de uso de clasificación numérica y binaria tienen diferentes mediciones de modelos. En este módulo, nos centramos en las mediciones del modelo para maximizar isWon, un caso de uso de clasificación binaria.

En el panel izquierdo (1) se muestran los siguientes elementos:

• Navegación a las secciones del modelo
  
• Perspectivas de datos y favoritos
  
• Vínculos a otras acciones
  

En el panel Ruta a la implementación (2), se muestran los siguientes elementos:

• Revisar precisión de modelo: para las soluciones de clasificación binaria, la estadística Área bajo la curva (AUC) suele ser la primera que observan los científicos de datos para evaluar la calidad de un modelo. Nuestro objetivo es contar con una AUC mayor que 0.5 (posibilidad aleatoria) y menor que 1 (predicción perfecta, que suele indicar un problema de fuga de datos). Nuestro modelo tiene un valor de AUC de 0,8183, que se encuentra dentro del rango aceptable.
  Nota: una medición comparable para los modelos numéricos es R^2, que mide la capacidad de un modelo de regresión para explicar la variación del resultado. El valor de R^2 puede oscilar entre cero (posibilidad aleatoria) y uno (modelo perfecto). En general, mientras mayor sea el valor de R^2, mejor será la predicción de resultados.
  
• Establezca un umbral: para los modelos de clasificación binaria, el umbral es el valor que determina si una predicción se clasifica como verdadera o falsa según el puntaje de predicción, que es un número entre 0 y 1. En nuestro ejemplo, si el puntaje de predicción es 0.4654 o mayor, el resultado predicho es verdadero. En este módulo, no profundizaremos en la explicación de los umbrales. Simplemente recuerde que, según los requisitos de su solución, puede ajustar su modelo para favorecer un resultado sobre otro.
  
• Evaluar preparación para implementación: Einstein Discovery hace un control de calidad del modelo y muestra los problemas detectados aquí. En su ejemplo, no hay alertas de datos porque ya las resolvió en la unidad anterior.
  

En el panel Datos de entrenamiento y el modelo (3), se muestran los siguientes elementos:

• Distribución de variable de resultado: muestra cuántos valores observados verdaderos o falsos (resultados reales) hay en los datos de entrenamiento.
  
• Predictores principales: muestra las variables de predictores con mayor correlación con el resultado. En nuestros datos de ejemplo, Tipo de oportunidad tiene la correlación más alta, seguido de Industria.
  

Examen de predicción

Haga clic en la ficha Examen de predicción.

En el panel Predicción de Einstein de la derecha, para la fila seleccionada de los datos de entrenamiento, se compara el resultado predicho con el resultado real, así como los principales factores que llevaron al resultado predicho. Haga clic en cualquier fila para actualizar este panel.

Esta pantalla sirve como prueba: es una vista previa útil de cómo podrá predecir los resultados el modelo una vez implementado. AUC aportó una medición agregada del modelo, pero esta pantalla permite desglosar y analizar las predicciones del modelo de forma interactiva. 

Nota: Einstein Discovery toma muestras aleatorias de los datos del conjunto, por lo que los datos que verá en su pantalla no coincidirán con esta captura de pantalla.

Explorar predicciones y mejoras

Aprovechemos el poder de Einstein Discovery para predecir el futuro. En esta sección, seleccione un escenario con Einstein y haga que calcule resultados futuros estadísticamente probables y sugerencias sobre cómo mejorar el resultado.

Nota: Esta unidad aborda el uso de su modelo para explorar las predicciones y mejoras hipotéticas. Más adelante, aprenderá a implementar su modelo en Salesforce para obtener predicciones y mejoras en sus registros actuales.

En el panel de navegación izquierdo, haga clic en Predicciones. 

En el panel de la derecha, se seleccionan las entradas para el modelo.

En Seleccionar un grupo para predecir, para Tipo de oportunidad, seleccione Nuevo negocio/Adicional, y para Industria, seleccione Banca (1). Seleccione el botón con capacidad de acción junto a Origen del prospecto (2) para ver las mejoras.

En la página principal verá estos paneles (es posible que tenga que desplazarse hacia abajo para ver todo).

• En Predicción de Einstein (1), se muestra el puntaje de predicción para sus selecciones. En este ejemplo, el resultado predicho es IsWon: True.
  
• En Mejoras más importantes (2), se muestran acciones sugeridas que usted puede realizar para mejorar el resultado predicho. En este ejemplo, cambiar el origen del prospecto de la oportunidad por la referencia de socio mejora el resultado previsto un 0.067.
  
• En Descripción general del modelo (3), se muestran las mediciones de calidad del modelo.
  
• En Factores de predicción principales (4), se muestran las variables explicativas, tanto favorables como desfavorables, que tienen un vínculo más estrecho con el resultado predicho. En nuestro ejemplo, el tipo de oportunidad Nuevo negocio/Adicional mejora el resultado previsto un 14.18 %.
  
• En Perspectivas (5), se muestran perspectivas adicionales asociadas con su selección.
  

¿Qué es lo siguiente?

Ahora que ha evaluado el modelo, echemos un vistazo a los datos.

Recursos

• Ayuda de Salesforce: Evaluar la calidad del modelo