Comment construire un modèle de Machine Learning en 7 étapes

Étape 1. Comprendre et identifier le problème du métier (et définir ce que sera « la réussite »)

La première phase de tout projet de machine learning consiste à comprendre les besoins des métiers. C’est une évidence, mais répétons-la : vous devez savoir quel problème vous essayez de résoudre avant de tenter de le résoudre.

Pour commencer, travaillez avec le référent du projet (le « project owner ») et assurez-vous bien que vous comprenez parfaitement ses objectifs et ses besoins. Le but est de traduire cette connaissance en une définition mathématique appropriée du problème pour faire du machine learning, et de concevoir un plan préliminaire pour atteindre ces objectifs.

Les questions clés auxquelles il faut répondre sont :

• Quel est l’objectif métier qui aurait besoin d’une solution cognitive ?
• Un moteur de règles ne peut-il pas répondre à cet objectif ?
• Quelles parties de la solution sont cognitives et lesquelles ne le sont pas ?
• Toutes les questions techniques, opérationnelles et de déploiement ont-elles été abordées ?
• Quels seront les critères d’un projet « réussi » ?
• Comment le projet peut-il être mis en place dans le cadre de sprints itératifs ?
• Y a-t-il des exigences particulières en matière de transparence, d’explicabilité ou de réduction des biais ?
• Quelles sont les considérations éthiques ?
• Quels sont les paramètres et valeurs « acceptables » en termes de précision, d’exactitude, et pour la matrice de confusion ?
• Quelles données d’entrée (les « inputs ») pourront être injectées dans le modèle ? Et quelles sont les valeurs de sortie (les « outputs ») attendues ?
• De quel type est le problème à résoudre ? S’agit-il d’un problème de classification, de régression ou de regroupement/segmentation ?
• Qu’est-ce que la solution « tout venant » (« l’heuristique »), c’est-à-dire l’approche rapide, mais peu efficace pour résoudre le problème, qui ne nécessiterait pas de ML ? Dans quelle proportion le modèle doit-il être meilleur que l’heuristique ?
• Comment les retombées et les bénéfices du modèle seront-ils mesurés et chiffrés ?

Bien que les questions soient nombreuses lors de cette première étape, y répondre (ou même tenter d’y répondre) augmentera considérablement les chances de réussite du projet.

La définition d’objectifs précis, et quantifiables, permettra d’avoir un ROI mesurable du projet – c’est ce qui fait aussi la différence entre la mise en production du machine learning et la mise en œuvre d’un simple PoC qui sera abandonné par la suite.

Ces objectifs doivent toujours être intimement liés aux objectifs des métiers. Ils ne peuvent pas être purement « statistiques ». Des indicateurs naturels du machine learning – comme la précision, l’exactitude, le rappel et l’erreur quadratique moyenne – peuvent être inclus dans les métriques du projet. Mais des KPI (indicateurs clés de performance) plus « métiers » sont largement préférables.

Étape 2. Comprendre et identifier les données

Une fois que vous avez bien compris les demandes des métiers et que votre projet a été approuvé, vous vous dites que vous allez pouvoir commencer à construire un modèle de machine learning. Pas vrai ?

Et bien non. Déterminer un cas d’usage ne veut pas dire que vous disposez des bonnes données pour le traiter.

Un modèle de machine learning se construit typiquement en apprenant et en généralisant à partir d’un jeu de données d’entraînement, puis en appliquant ces enseignements à de nouvelles données pour faire des prévisions. Une pénurie de données au départ empêchera de construire le moindre modèle.

Et l’accès aux données ne suffit pas. Ces données doivent être nettoyées et de bonne qualité pour être utiles.

Ne sautez pas cette étape clé. Identifiez vos besoins en termes de données. Et voyez si les jeux sont complets et de qualité, en tout cas suffisamment pour être la base d’un projet de machine learning.

Il faut vraiment se pencher de manière méticuleuse sur la collecte initiale des données. Voici quelques questions clés à ne pas laisser de côté :

• Où sont les sources des données nécessaires à l’entraînement du modèle ?
• Quel volume de données est nécessaire pour ce projet de machine learning ?
• Quelles sont la quantité et la qualité actuelles des jeux de données destinés à l’entraînement ?
• Comment seront réparties les données entre l’ensemble de test et l’ensemble pour l’entraînement ?
• Pour les tâches d’apprentissage supervisées, quels moyens sont accessibles (financiers, techniques ou humains) pour étiqueter ces données ?
• Des modèles préentraînés peuvent-ils être utilisés ?
• Où se trouvent les données opérationnelles ?
• Existe-t-il des moyens d’accéder aux données en temps réel, aux données issues du « edge » (capteur ou autres), ou à des données importantes qui seraient « isolées » ?

Répondre à ces questions vous aidera à maîtriser le volume et la qualité des données ainsi qu’à comprendre le type d’informations nécessaires pour faire fonctionner votre modèle.

En outre, vous devez savoir comment le modèle fonctionnera dans la vraie vie. Par exemple, le modèle sera-t-il utilisé hors ligne, fonctionnera-t-il en mode batch sur des données qui sont injectées et traitées de manière asynchrone, ou sera-t-il utilisé en temps réel, avec des exigences de haute performance pour fournir des résultats instantanés ? Ces informations permettront également de déterminer le type de données nécessaires et les exigences en matière d’accès (et de réseau).

Déterminez également si le modèle sera entraîné une seule fois, ou s’il sera itéré ; avec des versions déployées périodiquement, ou en temps réel. L’entraînement en temps réel impose de nombreuses contraintes en matière de données, qui peuvent ne pas être résolues dans certains contextes.

Durant cette phase de votre projet d’Intelligence Artificielle, il est également important de savoir s’il existe des différences entre les données réelles – sur lesquelles le modèle sera appliqué – et les données d’entraînement. La même question se pose pour les données de test.

Il faudra aussi que vous déterminiez en amont quelle approche vous adopterez pour valider et évaluer les performances du modèle.

Étape 3. Collecter et préparer les données

Une fois que vous avez correctement identifié et localisé vos données, vous devrez les mettre en forme pour qu’elles puissent être utilisées pour entraîner votre modèle.

Les tâches de préparation des données comprennent la collecte, le nettoyage (« cleansing »), l’agrégation, l’augmentation, l’étiquetage (labels), la normalisation et la transformation ainsi que toutes les activités autour des données structurées, non structurées et semi-structurées.

Les opérations à suivre lors de cette étape sont les suivantes :

• Recueillir les données auprès des différentes sources.
• Normaliser les formats des différentes données.
• Remplacer les données incorrectes.
• Améliorer et augmenter les données.
• Ajouter d’autres dimensions avec des valeurs précalculées et des informations agrégées si nécessaire.
• Améliorer les données avec des sources tierces.
• « Multiplier » les bases d’images si elles ne sont pas suffisantes pour un entraînement.
• Supprimer les informations superflues et les doublons.
• Supprimer les données non pertinentes pour l’entraînement pour améliorer les résultats.
• Réduire autant que possible le bruit et lever les ambiguïtés
• Contrôler s’il faut anonymiser certaines données.
• Normaliser ou standardiser les données pour qu’elles entrent dans les intervalles attendus (feature scaling)
• Faites des échantillons de données à partir des grands jeux de données.
• Sélectionnez des attributs (feature engineering) qui identifient les dimensions les plus importantes et, si nécessaire, réduisez les dimensions en utilisant diverses techniques.
• Séparer les données en trois ensembles pour l’entraînement, le test et la validation.

La préparation des données prend beaucoup de temps. Des études menées auprès des Data Scientists estiment que cette étape peut prendre jusqu’à 80 % du temps d’un projet de machine learning. Mais comme dit l’expression : « Garbage in, garbage out ». Dit autrement, la qualité des modèles dépendra de celle des données. Le temps consacré à ces tâches de préparation et de nettoyage des jeux de données en vaut toujours la peine.

Étape 4. Déterminer les attributs du modèle et entraîner le modèle

Une fois que les données sont utilisables et que vous connaissez bien le problème métier, il est enfin temps de passer à l’étape que vous attendiez tant : entraîner le modèle.

Cette phase nécessite de choisir le bon modèle, de l’entraîner, de régler ses hyperparamètres, de le valider, puis de passer à la phase de test et d’optimisation. Pour cela, les actions suivantes sont nécessaires :

• Choisissez le bon algorithme en fonction de l’objectif de l’apprentissage et de ses besoins en données.
• Configurer et régler les hyperparamètres pour optimiser les performances, et choisir une méthode d’itération pour arriver aux meilleurs hyperparamètres.
• Identifier les attributs qui fourniront les meilleurs résultats.
• Déterminer si l’explicabilité ou l’interprétabilité du modèle est nécessaire.
• Utiliser plusieurs algorithmes (apprentissage ensembliste) pour améliorer les performances.
• Tester différentes versions de votre modèle pour en vérifier les performances.
• Identifier les exigences qu’il faudra respecter pour la mise en production et le déploiement du modèle.

Le modèle peut ensuite être évalué pour déterminer s’il répond bien aux besoins métiers et aux exigences opérationnelles.

Étape 5. Évaluer les performances du modèle et faire des benchmarks

Dans un contexte d’IA, l’évaluation comprend l’évaluation des métriques du modèle, la matrice de confusion, les KPI, les métriques de performance, la mesure de la qualité du modèle, et une validation finale de sa capacité à atteindre les objectifs métiers qui ont été fixés.

Au cours du processus d’évaluation du modèle, vous devez procéder comme suit :

• Évaluer les modèles en utilisant une approche et un jeu de données de validation.
• Déterminer les valeurs de la matrice de confusion dans le cadre des problèmes de classification.
• Identifier des méthodes de validation croisée si cette approche k-fold est utilisée.
• Affiner les hyperparamètres pour optimiser la performance.
• Comparer le modèle de machine learning au modèle de base (ou heuristique).

La phase d’évaluation d’un modèle peut être considérée comme l’assurance qualité du Machine Learning. Une évaluation adéquate des performances du modèle par rapport aux métriques et aux besoins déterminera en effet comment il fonctionnera en production.

Étape 6. Expérimenter en production et ajuster le modèle

Lorsque vous estimez que votre modèle est « opérationnel » et peut être déployé « pour de vrai », il est temps de se pencher sur la manière dont il fonctionne dans ce « monde réel » – ce qu’on appelle aussi « la mise en production ». Pour cela, il faut :

• Déployer le modèle avec un moyen de mesurer et de contrôler en permanence ses performances.
• Développer une base de référence ou des points de repère (faire un benchmark) par rapport auxquels les futures itérations pourront être mesurées.
• Itérer continuellement les différents aspects du modèle pour en améliorer les performances globales.

La mise en production opérationnelle du modèle peut passer par des déploiements dans un environnement cloud, en edge (dans des appareils ou des capteurs), dans un environnement sur site, ou au sein d’un groupe fermé et contrôlé. Après le déploiement, il faut considérer le versioning et l’itération des modèles, la supervision et la mise à jour des modèles dans les environnements de développement, puis de production.

Selon les besoins, ces points peuvent aller de la simple émission d’un rapport à un déploiement plus complexe et multipoint.

Étape 7. Ajuster le modèle

Même si votre modèle est opérationnel et que vous surveillez continuellement ses performances, vous n’en avez pas fini pour autant. Lorsqu’il s’agit d’implémenter des technologies, on dit souvent que la recette du succès consiste « à commencer petit, à penser grand et à itérer souvent ».

Et c’est vrai pour le Machine Learning. Il faudra à présent répéter le processus entier et apporter des améliorations à temps pour la prochaine itération. Les besoins des métiers changent. Les capacités de la technologie évoluent. Les données elles-mêmes changent, souvent de manière inattendue.

Tout cela peut créer de nouvelles contraintes et de nouvelles attentes qui auront une influence sur le déploiement du modèle, par exemple sur de nouveaux appareils ou dans de nouveaux systèmes.

La mise en production n’est, en résumé, que « la fin du début » de votre projet. Il est donc préférable d’anticiper :

• les prochains besoins pour améliorer les fonctionnalités du modèle
• l’élargissement de l’entraînement pour ajouter de nouvelles fonctionnalités
• la manière d’améliorer les performances et la précision du modèle
• l’amélioration des performances opérationnelles du modèle
• les exigences opérationnelles pour différents types de déploiements
• les solutions au problème de la « déviance des modèles » (« model drift ») et de « déviance des données » (« data drift »), qui peuvent causer des dégradations de la performance après des modifications des données opérationnelles

Réfléchissez, enfin, à ce qui fonctionne dans votre modèle, à ce qui doit être amélioré et à ce qui est en cours de réalisation. La meilleure façon de réussir dans l’élaboration d’un modèle de machine learning est de rechercher en permanence des améliorations et de meilleurs moyens de répondre à l’évolution des besoins métiers.