Création et évaluation d’un modèle d’IA

Objectifs de formation

Une fois cette unité terminée, vous pourrez :

Expliquer comment créer un modèle à l’aide du générateur de modèles
Expliquer pourquoi vous utilisez des métriques pour déterminer la qualité des modèles
Énumérer quelques mesures utilisées pour évaluer les performances d’un modèle

Création et évaluation d’un modèle

Vous avez appris que l’IA fonctionne à l’aide de modèles. Grâce à eux, vous pouvez augmenter votre intelligence commerciale, accélérer vos flux de travail, permettre aux utilisateurs de prendre de meilleures décisions, et bien plus encore. En d’autres termes, les modèles d’IA vous permettent de tirer parti de vos données en demandant à une machine de les analyser et d’en devenir un expert, puis d’appliquer cette expertise à de nouvelles données.

Préparation des données

La majeure partie du travail requis pour créer un modèle prédictif réside en réalité dans la préparation des données. C’est pourquoi les spécialistes ou analystes des données doivent se sentir capables de construire un modèle, car ils connaissent réellement les données. Dans sa première version, le générateur de modèles Einstein Studio peut entraîner un modèle basé sur un seul objet de modèle de données (ou DMO) dans Data Cloud.

Même si nous avons pour but de faciliter cela à l’avenir, il existe déjà de nombreux outils dans Data Cloud qui permettent aux utilisateurs de préparer et modéliser des données pour former un tableau de données qui peut être représenté comme un DMO unique et dénormalisé. Voici un exemple de la façon dont les transformations de données par lot peuvent créer un DMO pour entraîner un modèle.

Étapes de création d’un modèle

Créez un modèle prédictif IA à l’aide du générateur de modèles en sept étapes et sans code, juste des clics. Pour en savoir plus, accédez aux étapes de création d’un modèle dans l’aide de Salesforce.

Prenons pour exemple la création d’un modèle à partir de zéro afin de prédire la probabilité de désabonnement des clients. Cliquez sur les étapes à l’aide des boutons Next (Suivant) et Previous (Précédent).

Variables et observations

Comme vous l’avez appris plus tôt dans ce module, un modèle prédictif utilise l’apprentissage automatique pour prédire les résultats futurs. Lorsque vous créez un modèle à l’aide du générateur de modèles, Einstein analyse les données et crée un modèle prédictif, et il produit également les métriques d’entraînement afin que vous puissiez évaluer le modèle.

Variables

Les modèles organisent les données par variables. Une variable est une catégorie de données, comme un champ dans Salesforce ou une colonne dans une feuille de calcul. Des entrées appelées variables prédictives ou explicatives sont utilisées pour générer des prédictions.

Observations

Les prédictions sont générées au sein des observations. Une observation est un ensemble structuré de données, comme un enregistrement dans Salesforce ou une ligne dans une feuille de calcul.

L’image est un organigramme illustrant comment un modèle prédictif utilise des variables d’entrée liées aux contrats clients pour prédire si un client va se désabonner, en indiquant la prédiction comme valeur « True » (Vrai).

Pour chaque observation, le modèle utilise un ensemble de variables prédictives comme données d’entrée (1) et renvoie une prédiction correspondante (2) comme donnée de sortie. Le modèle peut également renvoyer les variables principales qui ont le plus gros impact sur la prédiction. Dans cette illustration, le résultat observé, le désabonnement n’est pas encore connu.

Métriques d'entraînement

Les modèles que vous créez à partir de zéro dans le générateur de modèles (qu’on appelle les modèles créés par Einstein) sont accompagnés de métriques d’entraînement. Les métriques d’entraînement vous aident à comprendre comment votre modèle d’IA a été entraîné et à évaluer sa qualité.

Les métriques d’entraînement sont calculées à partir des données utilisées pour entraîner votre modèle. Pour chaque observation qui a un résultat connu (observé), une prédiction est calculée, puis comparée au résultat réel pour déterminer sa précision.

Important : il existe un grand nombre de métriques d’entraînement différentes, bien trop pour les aborder toutes dans ce module. Ne vous inquiétez pas, vous n’avez pas besoin de toutes les connaître, ni même de connaître la plupart d’entre elles. Les métriques d’entraînement incluent des info-bulles pour vous aider à interpréter ces métriques sans avoir besoin de comprendre toutes les nuances et tous les calculs mathématiques impliqués. En fournissant un ensemble complet de métriques d’entraînement, vous pouvez évaluer votre modèle par rapport à vos besoins. De cette façon, vous pouvez évaluer la qualité du modèle à l’aide des métriques les plus pertinentes pour votre solution.

La précision indique la qualité de vos prédictions sur une échelle de suppositions aléatoires pour surajuster la fuite de données. La précision de votre modèle doit être élevée.
Les principaux prédicteurs sont les entrées, ou variables prédictives, qui ont le plus gros impact sur la prédiction du résultat.
La distribution des variables vous montre un histogramme des valeurs réelles observées dans les données.

Page Qualité d’apprentissage du modèle

Caractéristiques d’un modèle de qualité

Bien entendu, si vous comptez fonder vos décisions commerciales sur les prédictions générées par votre modèle, il faut que celui-ci soit extrêmement efficace pour prédire des résultats. Au minimum, vous voulez que votre modèle prédise plus efficacement les résultats que ce que vous pourriez faire en son absence (à savoir vous contenter de simplement les estimer, ce qui débouche sur des prises de décision ne tenant pas compte des données !)

Alors, en quoi reconnaît-on un modèle efficace ? De manière générale, un modèle efficace répond aux exigences de votre solution en générant des prédictions suffisamment précises pour appuyer vos objectifs d’amélioration des résultats. En bref, vous voulez savoir dans quelle mesure les résultats prédits par un modèle correspondent aux résultats observés.

Pour vous aider à déterminer si votre modèle fonctionne bien, les modèles créés dans Einstein fournissent des métriques d’entraînement qui présentent des mesures courantes de performance de modèle (les data scientists les connaissent sous le nom de statistiques d’ajustement, qui quantifient dans quelle mesure les prédictions de votre modèle correspondent bien aux données réelles). N’oubliez pas que les modèles sont des approximations abstraites du monde réel. Ainsi, dans une certaine mesure, tous les modèles sont inévitablement inexacts. Un modèle trop « parfait » doit éveiller vos soupçons, et non vous donner de l’espoir.

Lorsque l’on pense aux modèles, il est utile de prendre en considération une citation courante, attribuée au statisticien George Box : « Tous les modèles sont faux, mais certains d’entre eux sont utiles. »

Une fois que vous êtes satisfait(e) de la qualité de votre modèle, vous pouvez l’activer pour qu’il puisse être utilisé. Pour en savoir plus, accédez à Activation de votre modèle dans l’aide de Salesforce.

Besoin d'aide ?