Actualites

SageMaker prépare désormais les données pour le ML et supporte l’apprentissage par renforcement

AWS a doté SageMaker d’un outil pour étiqueter les jeux de données avant de les passer aux moulinettes des algorithmes ainsi que d’une extension RL capable de supporter le modèle d’apprentissage par renforcement.

Cyrille Chausson
par
Publié le: 04 déc. 2018

A l’occasion d’AWS ReInvent qui s’est tenu la semaine dernière, AWS a montré comment il comptait simplifier un peu plus la courbe d’apprentissage du Machine Learning auprès des entreprises avec SageMaker. Ce service, présenté en 2017, doit, selon AWS, aider les clients, mêmes ceux avec un niveau faible en développement, à créer un modèle de Machine Learning et à les déployer en production. Il fournit pour cela un environnement complétement managé pour expérimenter, entraîner et déployer des modèles.

SageMaker entraîne par exemple des modèles de Machine Learning selon les principes de l’apprentissage supervisé – à savoir, on entraîne un algorithme à détecter des comportements et des motifs à partir d’un jeu de données étiquetées (labelling).  Le classement d’images constitue par exemple un cas d’usage. Seulement, jusqu’alors, SageMaker ne proposait pas d’outil pour préparer ces jeux de données indispensables à la création de modèles. « Une phase complexe, pourtant essentielle, qui aurait plutôt tendance à être oubliée », rappelle d’ailleurs Julien Simon, évangéliste ML et AI chez AWS.  

C’est là qu'entre en jeu Ground Truth, présenté lors de l’événement. Ce nouvel outil de SageMaker  permet justement d’apposer ces précieuses étiquettes et de construire rapidement les jeux de données. Ces « labels » s’apparentent en fait à des métadonnées et  peuvent être aussi bien un texte que les contours d’une forme.

Ground Truth propose trois modes d’étiquetage : un mode texte, un mode étiquetage d’image et un mode de détection d’objet (on définit des formes). Dans ce dernier cas, illustre Julien Simon, on localise les différents objets dans l’image et détermine leur classe. Les données, une fois chargées dans S3, suivent un processus de qualification par des experts. Une partie de ce processus peut être automatisé - il suffit d’entraîner l’algorithme à taguer - , ou effectué par des experts, tant internes qu’externes (ou en alternance, on fonction d’un seuil de confiance préétabli). On peut créer ces groupes selon trois modes opératoires : en interne, si cela nécessite de fortes compétences métier ; détacher ces opérations à des experts externes, ou utiliser un pool de 500 000 personnes externes via le service de crowdsourcing d’AWS Mecanical Turk, ajoute encore Julien Simon.

SageMaker et l’apprentissage par renforcement

Si SageMaker, avec Ground Truth, a pour vocation de démocratiser le ML supervisé (voir encadré), AWS tente également d’appliquer cela à une autre forme d’IA : l’apprentissage par renforcement. Cela se traduit par une extension pour SageMaker : SageMaker RL (pour Reinforcement Learning).  

Cette méthode d’apprentissage s’applique « là où le supervisé ne convient pas et où l’on ne peut pas bâtir un jeu de données », lance l’expert. Il s’agit dès lors de confronter directement l’algorithme à un environnement, via des phases exploratoires. « L’apprentissage par renforcement reprend finalement les principes de l’apprentissage », décrypte Julien Simon. Il s’appuie sur les récompenses obtenues à la suite d’actions. « Progressivement, le modèle apprend les actions qui répondent à une série de récompenses positives. »

Dans le cas de SageMaker RL, un agent autonome  interagit avec un environnement donné et délimité via un simulateur. L’apprentissage s’effectue au fil du temps, au rythme des explorations de l’agent et s’enrichit un peu plus à chaque récompense obtenue. Cet apprentissage fonctionne ainsi par itération, alternant des cycles d’explorations et des cycles d’entrainements qui les prennent en compte. Au final, l’agent interagit de plus en plus efficacement avec son environnement, lance encore le responsable. La robotique, la conduite autonome ou encore le pilotage des systèmes de climatisation – des systèmes connus pour être complexes - sont des cas d’usage cités.

Une market place du Machine Learning

AWS a également profité de son événement pour lancer une place de marché du Machine Learning. Sa vocation est de mettre à disposition des algorithmes et des modèles pré-entrainés que l’on peut rapidement déployer dans SageMaker pour y charger ses propres données. Le déploiement s’effectue en quelques clics. Pour AWS, il s’agit là de cibler plus largement des petites entreprises qui n’ont pas les compétences et les moyens de développer leurs propres modèles.  A son lancement, quelque 150 modèles et algorithmes sont directement accessibles.

Pour approfondir sur Outils décisionnels et analytiques