IA : AWS veut démocratiser l’usage d’Amazon SageMaker
Avec SageMaker, AWS cible autant les data scientists que les analystes métiers. C’est en tout cas la stratégie exposée auprès du MagIT par Omer Zaki, le directeur général d’Amazon SageMaker lors de l’événement ReInvent 2021.
Amazon SageMaker s’est fait une réputation auprès des data scientists. La suite de développement de machine learning serait utilisée par des dizaines de milliers de clients, si l’on croit les dires de Swami Sivasubramanian, vice-président Amazon Machine learning chez AWS. À titre d’exemple en France, l’éditeur de solutions de cybersécurité Vade et la SNCF l’emploient pour motoriser leurs charges de travail de vision par ordinateur. Ces cas d’usage, LeMagIT les a déjà exposés. Ils sont l’œuvre de data scientists et de data engineers rompus aux méthodes d’apprentissage automatique et profond.
Désormais, le fournisseur cloud vise « les citizen data scientists » : des data analysts aguerris. Pour cela, il a présenté SageMaker Canvas, un outil no-code permettant d’importer des données, de les préparer et de les analyser, de s’appuyer sur des librairies de modèles préconçues pour générer des prédictions et les partager avec les collaborateurs au sein d’une organisation en glisser-déposer.
Lors d’une démonstration, les porte-parole d’AWS souhaitaient prouver que même un responsable de parc informatique peut anticiper le renouvellement des ordinateurs entre les mains des métiers depuis l’interface visuelle. Les cas d’usage sont beaucoup plus simples que ceux endossés par les autres outils de la suite SageMaker. AWS met en avant la possibilité de prévoir le taux d’attrition, d’optimiser les prix et les revenus, d’améliorer les inventaires et les flux logistiques.
Démocratiser l’IA et favoriser les échanges entre experts
Par défaut, Canvas supporte les fichiers CSV, XLSX et Parquet. Les utilisateurs peuvent importer leurs données depuis S3, RedShift, mais aussi des entrepôts tiers, comme ceux de Snowflake.
Si les algorithmes de machine learning proposés dans Canvas sont pour la plupart « simples » (régression linéaire et logistique, prévision de séries chronologiques), d’autres sont plus avancés : l’outil embarque des fonctions de gradient boosting et de deep learning.
« Nous voulons mettre le notebook au centre de la conversation entre les data scientists, les data engineers et les analystes. »
Omer ZakiDirecteur général Amazon Sagemaker, AWS
Pour les data scientists et les data engineers, AWS a présenté le notebook universel (Universal Notebook en VO) intégré dans SageMaker Studio. « Le notebook universel est basé sur Jupyter et favorise le travail collaboratif. Par exemple, un data engineer peut lancer un cluster EMR et ajouter des étapes de transformation, de traitement à l’intérieur du notebook et laisser le data scientist y configurer son modèle ML », explique Omer Zaki, directeur général Amazon Sagemaker chez AWS. « Nous voulons mettre le notebook au centre de la conversation entre les data scientists, les data engineers et les analystes ».
Pour l’instant, EMR est le seul service compatible avec cette fonctionnalité. SageMaker Studio permet ainsi de créer, d’administrer et de déployer des clusters Apache Spark, Hive et Presto. « À l’avenir, nous prendrons en charge d’autres sources de données et services comme Lake Formation, entre autres », assure le responsable. Cette capacité ressemble beaucoup aux notebooks collaboratifs associés à l’espace de travail de la plateforme de Databricks et à ceux de DeepNote. AWS souhaite également attirer les apprentis dans le domaine de la data science, en offrant SageMaker Studio Lab. Disponible en préversion, il s’agit d’un environnement de développement basé sur le projet JupyterHub qui reprend la plupart des caractéristiques de SageMaker Studio.
L’IDE gratuit fournit des frameworks prépackagés : Jupyter, mxnet, PyTorch, GitHub, TensorFlow, AutoGluon et XGBoost. Il permet aussi de choisir entre trois gestionnaires de paquets Python : Pip, Conda ou Mamba. Studio Lab comprend 15 Go de stockage persistant. En outre, les utilisateurs sélectionnent des sessions de calcul CPU (12 heures) ou GPU (4 heures) afin d’entraîner des modèles de machine learning ou de deep learning. Il n’y a pas de nombre limite de sessions tant que la précédente a pris fin. Surtout, le service ne nécessite pas de créer un compte AWS ou d’entrer une carte bancaire : cela permet d’éviter les surprises de certains essais gratuits qui ne le sont pas réellement.
Optimiser les performances des algorithmes et des réseaux de neurones
Ajouter de nouvelles fonctionnalités et favoriser l’adoption de l’apprentissage automatique en même temps que sa démocratisation ne suffit pas, selon Omer Zaki.
« Nous devons non seulement rendre SageMaker exhaustif, mais aussi plus performant pour nos clients », déclare-t-il.
« L’échelle à laquelle les clients lancent des projets de machine learning sur SageMaker ne fait qu’augmenter. »
Omer ZakiDirecteur général Amazon Sagemaker, AWS
« L’échelle à laquelle les clients lancent des projets de machine learning sur SageMaker ne fait qu’augmenter », avance le directeur général d’Amazon SageMaker. « Certains d’entre eux gèrent des modèles de deep learning avec des milliards de paramètres ».
En ce sens, AWS a présenté Training Compiler, un compilateur qui s’intègre avec les frameworks TensorFlow et Pytorch. Training Compiler doit analyser et retravailler le code de modèles Python référencés dans la librairie du framework d’optimisation Hugging Face, et les adapter aux instructions matérielles des instances « Deep Learning Containers (DLC) ». Selon le responsable, cela permettrait d’accélérer « jusqu’à 50 % » l’entraînement de certains algorithmes.
Training Compiler a principalement été testé sur de gros réseaux de neurones NLP, dont BERT Large, RoBERTa Large, GPT-2 et leurs variantes. Ainsi, l’outil se concentre uniquement sur l’amélioration des modèles s’exécutant sur des instances mono ou multi-GPU. La compilation s’applique au niveau des graphes, des flux de données et du back-ends. À ce titre, le fournisseur cloud recommande des types d’instances (ml.p3.2x, 8x et 16xlarge, ml.p3dn.24xlarge, ml.p4.d. 24xlarge), mais Training Compiler ne serait pas limité à ces seules options.
Les clients, notamment ceux qui développent des modèles NLP ou de computer vision, cherchent aussi à les pousser en production, remarque Omer Zaki.
Or ces usagers ont du mal à identifier les bonnes machines AWS pour exécuter ces algorithmes en inférence. « Il est très difficile d’effectuer des benchmarks : avec l’IA, de nombreux essais sont nécessaires », insiste-t-il. « Jusqu’à maintenant, ces essais prenaient plusieurs semaines : si vous utilisez un modèle de détection de fraude ou de recommandations de produits, vous devez connaître sa précision et son influence sur la consommation de ressources ».
C’est pourquoi l’équipe de SageMaker a présenté Inference Recommender. « Ce système fait tous les benchmarks pour vous, afin de comparer le comportement de votre modèle entre plusieurs instances AWS et vous aide à choisir la plus pertinente pour vos besoins ».
« Aujourd’hui, les clients provisionnent les instances de manière à anticiper les pics d’utilisation, des pics qui parfois ne sont jamais atteints : dans ce cas-là, leurs dépenses sont inutiles. »
Omer ZakiDirecteur général Amazon Sagemaker, AWS
Dans les grandes lignes, Inference Recommender lance les workloads sur plusieurs instances et un algorithme de classification a été entraîné pour désigner le modèle adéquat. Selon Omer Zaki, les résultats obtenus mêlent véritables benchmarks et simulations. Cette phase de simulation pourrait fausser les suggestions, mais l’exécution de benchmarks sur de multiples instances peut aussi générer un coût important. « Quand vous conseillez les clients sur le choix de l’instance pour ses charges de travail de machine learning, vous devez être confiant en vos résultats et donc faire réellement les benchmarks », considère-t-il.
Les utilisateurs ayant testé cette fonctionnalité d’automatisation des benchmarks d’inférence espèrent réduire le temps de déploiement en production. « Les retours que j’en ai pour l’instant, c’est que ce processus automatisé est déjà plus avantageux qu’une opération manuelle », déclare-t-il.
Inference Serverless, lui, vise à ne payer que les ressources nécessaires à l’exécution d’un modèle en inférence. « Le nombre de requêtes vers un modèle en inférence est souvent très variable suivant le cas d’usage. Aujourd’hui, les clients provisionnent les instances de manière à anticiper les pics d’utilisation, des pics qui parfois ne sont jamais atteints : dans ce cas-là, leurs dépenses sont inutiles ». Ce mode d’exécution se destine surtout aux entreprises qui ne connaissent pas exactement les ressources qu’elles vont consommer ou pour des utilisateurs qui prévoient une augmentation continue du nombre des requêtes. « Nous avons d’autres types d’instances, mais avec Inference Serverless, vous n’avez pas trop à réfléchir », affirme le responsable. La console de Sagemaker permet de configurer les options d’Inference Serverless et de lancer l’instance à travers un point de terminaison.
Préparation de données : de Mechanical Turk à Ground Truth Plus
Mais le nerf de la guerre demeure la donnée de qualité. Depuis 2015, AWS proposait Amazon Mechanical Turk, un service très particulier permettant d’enrôler des annotateurs de données (500 000 travailleurs indépendants sont enregistrés sur la plateforme), capables de labéliser du texte et des images. MTurk était utilisé par toute l’industrie, même Microsoft. Seulement, la qualité des labels n’était pas réellement garantie.
En 2018, le fournisseur avait introduit Ground Truth. Il s’agissait d’automatiser une partie de l’étiquetage en s’appuyant sur celui effectué en crowdsourcing. Disponible en préversion, Ground Truth Plus, lui, ajoute la possibilité d’engager des « experts » rompus à l’exercice de labélisation, dans les rangs d’AWS ou de ses partenaires présents sur AWS Marketplace. Ces « spécialistes » sont à même de créer les labels avant de laisser la main à la procédure automatisée ou de faire appel aux annotateurs de MTurk, tout en respectant le cahier des charges du client. L’utilisateur final peut suivre la progression de cette tâche depuis un tableau de bord fourni par le géant du cloud.
« Toutes ces annonces visent essentiellement à favoriser une adoption accrue des capacités AI/ML d’AWS en simplifiant la vie du développeur et du data scientist », conclut Sid Nag, analyste chez Gartner auprès de SearchEnterpriseAI [propriété de Techtarget, également propriétaire du MagIT].
Pour approfondir sur Intelligence Artificielle et Data Science
