Valutare un modello

Obiettivi di apprendimento

Al completamento di questa unità, sarai in grado di:

• Spiegare che cos'è un modello e come nasce.
  
• Descrivere perché utilizzare le metriche del modello per comprenderne la qualità.
  

Modelli, variabili e osservazioni

Per rivedere ciò che hai appreso precedentemente in questo modulo, un modello è un sofisticato costrutto matematico personalizzato basato su una comprensione statistica esaustiva dei risultati passati. Einstein Discovery genera (addestra) un modello in base ai dati. Einstein usa il modello per produrre approfondimenti diagnostici e comparativi. Dopo aver distribuito un modello in produzione, puoi utilizzarlo per ricavare previsioni e miglioramenti per i dati attivi (ne parleremo a fondo più avanti).

Variabili

Esploriamo più a fondo i modelli. Innanzitutto, è utile sapere che un modello organizza i dati in base a variabili. La variabile è una categoria di dati, simile a una colonna in una serie di dati di CRM Analytics o a un campo in un oggetto Salesforce. Il modello prevede due tipi di variabili: input (variabili predittore) e output (previsioni). 

Osservazioni

Le previsioni si verificano al livello dell'osservazione. Un'osservazione è formata da una serie di dati strutturati ed è analoga a una riga popolata in una serie di dati di CRM Analytics o a un campo in un oggetto Salesforce.

Per ogni osservazione, il modello accetta un insieme di variabili predittore come input (1) e restituisce una previsione corrispondente (2) come output. Se richiesto, il modello può restituire anche i miglioramenti e i predittori migliori. In questa immagine, il risultato effettivo (IsWon) non è ancora noto.

I modelli sono ovunque

I modelli non sono una caratteristica unica di Einstein Discovery o Salesforce. Infatti, i modelli predittivi sono largamente utilizzati in tutto il mondo, in tutti i settori, le organizzazioni e le discipline, e interessano molti aspetti della vita quotidiana. I data scientist e altri specialisti applicano il loro formidabile talento alla progettazione e alla creazione di modelli di alta qualità in grado di generare previsioni estremamente precise e molto utili.

Tuttavia, diverse organizzazioni si trovano spesso ad affrontare una sfida quando, dopo aver creato il modello perfetto, passano a implementarlo negli ambienti di produzione in cui dovrebbe integrarsi perfettamente a vantaggio delle operazioni a cui è destinato. Con Einstein Discovery, ora puoi rendere rapidamente operativi i tuoi modelli: basta crearli e distribuirli in produzione per iniziare subito a ricevere previsioni e a prendere decisioni aziendali migliori usando i dati attuali. Puoi persino rendere operativi modelli creati esternamente che carichi in Einstein Discovery. 

Come deve essere un buon modello?

Naturalmente, se hai intenzione di basare le tue decisioni aziendali sulle previsioni prodotte da un modello, è necessario che il modello sia davvero molto efficace nel prevedere risultati. Come minimo dovrà essere più efficace del metodo che useresti se non esistesse, ossia intuizioni casuali che portano a decisioni non fondate su alcun dato!

Quali sono dunque le caratteristiche di un buon modello? In linea di massima, un modello è buono se soddisfa le tue richieste di soluzioni producendo previsioni sufficientemente precise da supportate i tuoi obiettivi di miglioramento dei risultati. In parole povere, devi sapere quanto i risultati previsti dal modello corrispondano a quelli effettivi.

Per aiutarti a determinare la qualità delle prestazioni del modello, Einstein Discovery mette a tua disposizione le metriche dei modelli, che offrono misure comuni delle prestazioni dei modelli. I data scientist le definiscono statistiche sull'adattamento, che quantificano il grado di corrispondenza tra le previsioni del modello e i dati reali. Tieni presente che i modelli sono approssimazioni astratte del mondo reale, quindi sono tutti inevitabilmente imprecisi in qualche misura. Di fatto, un modello "perfetto" dovrebbe destare sospetti, non speranze (ne riparleremo più avanti). 

Quando si pensa ai modelli, è utile ricordare la frase, spesso citata, dello statistico George Box: "Tutti i modelli sono sbagliati, ma alcuni sono utili".

Scopriamo quindi quanto può essere utile il tuo modello.

Osservare le prestazioni di un modello

In Einstein Discovery, le prestazioni di un modello ne indicano le misure di qualità con relativi dettagli. Le prestazioni del modello ti aiutano a valutarne la capacità di prevedere un risultato. Il calcolo delle metriche delle prestazioni dei modelli è basato sulla serie di dati di CRM Analytics utilizzata per addestrare il modello. Per ogni osservazione nella serie di dati associata a un risultato noto (osservato o effettivo), Einstein Discovery calcola una previsione e poi confronta il risultato previsto con quello effettivo per determinarne l'accuratezza.

Importante: Einstein Discovery offre molte metriche diverse per descrivere il modello che è stato realizzato per te; in realtà, sono talmente numerose che è impossibile analizzarle in questo modulo. Non preoccuparti, non serve conoscerle tutte né la maggior parte. In questo modulo tratteremo solo le più importanti. 

Mettendo a tua disposizione un insieme esaustivo di metriche, Einstein Discovery rende il modello completamente trasparente e offre svariate possibilità di valutare le prestazioni da prospettive diverse. In questo modo puoi valutare la qualità del modello servendoti delle metriche più adatte per la tua soluzione, incluse metriche non descritte in questa unità.

Einstein Discovery ti aiuta anche a interpretare le metriche senza dover capire a fondo tutte le sfumature e la matematica utilizzata per calcolarle. Se vuoi approfondire una metrica o una schermata particolare di cui non parliamo in questa unità, fai clic sul fumetto informativo o sul link Learn More (Ulteriori informazioni) .

Panoramica delle prestazioni del modello

La pagina delle prestazioni è la prima pagina visualizzata quando apri un modello e puoi utilizzarla per valutarne la qualità.

Nota: ai modelli sono associate metriche diverse a seconda che il caso d'uso sia relativo a una classificazione numerica o binaria. In questo modulo ci occupiamo delle metriche di modello che permettono di massimizzare isWon nell'ambito di un caso d'uso di classificazione binaria.

Il riquadro sinistro (1) contiene le seguenti sezioni:

• Navigazione delle sezioni del modello
  
• Data Insights (Approfondimenti dati) e Bookmarks (Segnalibri)
  
• Link ad altre azioni
  

Il riquadro Path to Deployment (Percorso verso la distribuzione) (2) contiene:

• Review Model Accuracy (Controlla l'accuratezza del modello): per le soluzioni di classificazione binaria, la statistica AUC (Area Under the Curve, area sotto la curva) è spesso la prima che viene presa in considerazione dai data scientist per valutare la qualità di un modello. Il nostro obiettivo è ottenere un AUC superiore a 0,5 (Random Chance, Caso fortuito) e inferiore a 1,0 (Perfect Prediction, Previsione perfetta), che di solito indica un problema di fuga di dati. Il valore AUC del nostro modello è 0,8183 e rientra quindi nell'intervallo corretto.
  Nota: per i modelli numerici esiste una metrica comparabile, R^2, che misura la capacità di un modello di regressione di spiegare le variazioni del risultato. La metrica R^2 va da zero (Random Chance, Caso fortuito) a uno (modello perfetto). In generale, maggiore è il valore di R^2, migliore sarà l'efficacia del modello nel prevedere i risultati.
  
• Set a Threshold (Imposta una soglia): per i modelli di classificazione binaria, la soglia è il valore che determina se una previsione è classificata come true (vera) o false (falsa) in base al punteggio della previsione (un numero compreso fra 0 e 1). Nel nostro esempio, se il punteggio della previsione è 0,4954 o un valore superiore, il risultato previsto è TRUE (VERO). L'analisi approfondita delle soglie esula dall'ambito di questo modulo. È sufficiente tenere presente che, a seconda dei requisiti della soluzione, è possibile calibrare il modello in modo da favorire un risultato piuttosto che un altro.
  
• Assess Deployment Readiness (Valuta preparazione della distribuzione): Einstein Discovery effettua una verifica della qualità del modello e riporta qui gli eventuali problemi rilevati. Nel nostro esempio non ci sono avvisi sui dati perché li hai già affrontati nell'unità precedente.
  

Il riquadro Training Data and the Model (Addestramento dei dati e del modello) (3) contiene le seguenti sezioni:

• Distribution of the Outcome Variable (Distribuzione della variabile del risultato): mostra il numero di valori TRUE e FALSE osservati (risultati effettivi) nei dati di addestramento.
  
• Top Predictors (Predittori migliori): mostra le variabili predittore che presentano la più elevata correlazione con il risultato. Nei nostri dati di esempio, Opportunity Type (Tipo opportunità) presenta la correlazione più alta, seguito da Industry (Settore).
  

Esame della previsione

Fai clic sulla scheda Prediction Examination (Esame della previsione).

Il riquadro Einstein Prediction sulla destra confronta, per la riga selezionata nei dati di addestramento, il valore Predicted Outcome (Esito previsto) con il valore Actual Outcome (Esito effettivo), nonché i Top Factors (Fattori principali) che hanno contribuito al risultato previsto. Fai clic su qualsiasi riga per aggiornare il riquadro.

Questa schermata, che è simile a una prova su strada: offre un'utile anteprima di come il modello prevederà i risultati una volta distribuito. L'AUC ha fornito una misura aggregata del modello, ma questa schermata permette di esplorare e analizzare le previsioni dei modelli in modo interattivo. 

Nota: poiché Einstein Discovery esegue un campionamento casuale dei dati della serie, i dati che vedrai sul tuo schermo saranno diversi da quelli riportati nell'immagine di questa schermata.

Esplorare le previsioni e miglioramenti

Sfruttiamo la potenza di Einstein Discovery per prevedere il futuro. In questa sezione metterai Einstein al lavoro selezionando uno scenario e chiedendogli di calcolare i risultati futuri statisticamente probabili e i suggerimenti su come migliorarli.

Nota: questa unità riguarda l'uso del tuo modello per esplorare previsioni e miglioramenti basati su ipotesi. Più avanti, imparerai a distribuire il modello in Salesforce per ottenere previsioni e miglioramenti sui record correnti.

Nel riquadro di navigazione sulla sinistra, fai clic su Predictions (Previsioni). 

Nel riquadro sulla destra puoi selezionare i dati di input per il modello.

Sotto Select a Group to Predict (Seleziona un gruppo da prevedere), in Opportunity Type (Tipo opportunità), seleziona New Business / Add On (Nuovo business/Aggiunta) e, in Industry (Settore), seleziona Banking (Bancario) (1). Seleziona il pulsante Actionable (Di immediato valore pratico) accanto a Lead Source (Fonte del lead) (2) per vedere i miglioramenti.

Sulla pagina principale, vedrai i seguenti riquadri (potrebbe essere necessario scorrere verso il basso per vederli tutti):

• Einstein Prediction (Previsione Einstein) (1) mostra il punteggio di previsione per le opzioni che hai selezionato. In questo esempio, il risultato previsto è IsWon: True (Vero).
  
• Top Improvements (Miglioramenti principali) (2) mostra le azioni suggerite che puoi intraprendere per migliorare il risultato previsto. In questo esempio, cambiare il valore del campo Lead Source (Fonte del lead) dell'opportunità in Partner Referral (Referral partner) migliora di 0,067 il risultato previsto.
  
• Model Overview (Panoramica sul modello) (3) mostra le metriche della qualità per il modello.
  
• Top Prediction Factors (Fattori predittivi principali) (4) mostra le variabili descrittive, favorevoli o sfavorevoli, che sono più strettamente associate al risultato previsto. Nel nostro esempio, se il valore di Opportunity Type (Tipo opportunità) è New Business/Add-on (Nuovo business/Aggiunta) risultato previsto presenta un miglioramento del 14.18%.
  
• Nella sezione dei dati approfonditi (5) sono riportati ulteriori approfondimenti associati alle opzioni selezionate.
  

Qual è il prossimo passo?

Ora che hai valutato il modello, diamo un'occhiata ai dati approfonditi.

Risorse

• Guida di Salesforce: Valutazione della qualità del modello