Avec Azure OpenAI, Microsoft projette d’industrialiser GPT-3
Lors d’Ignite 2021, Microsoft a présenté la préversion Azure OpenAI, un service NLG/NLP supposément taillé pour les ambitions des entreprises. Mais le géant du cloud devra faire avec la concurrence et des obstacles qui lui sont propres.
Dans le cadre de son événement Ignite 2021, Microsoft a annoncé la disponibilité en préversion d’Azure OpenAI, accessible sur invitation seulement.
Le géant du cloud entend ici donner suite au partenariat avec OpenAI, commencé en 2019 quand il a investi 1 milliard de dollars dans l’entreprise lancée sous la houlette d’Elon Musk en 2015. Surtout, l’année dernière, Microsoft a payé l’exclusivité de la licence commerciale du modèle NLG/NLP GPT-3 développé par le laboratoire de recherche en intelligence artificielle.
Après avoir intégré la technologie au sein de CoPilot, l’assistant de programmation de GitHub et dans les services Power Apps, Microsoft veut proposer GPT-3 sous la forme d’un service taillé pour les entreprises. La firme assure qu’Azure OpenAI Service donne aux clients des fonctionnalités de sécurité, de conformité et d’élasticité qu’ils sont en droit d’attendre dans le cloud. Dans le principe, les entreprises pourront faire appel aux capacités du modèle via une API.
Sid Nag, analyste chez Gartner, déclare que si Microsoft concrétise le potentiel du modèle NLP/NLG basé sur le deep learning, la technologie séduira les organisations.
« Des éléments requis par les entreprises comme la sécurité, la conformité et la montée à l’échelle du service sont certainement des caractéristiques attrayantes », note-t-il.
Microsoft ne s’avance pas trop sur les cas d’usage possible avec Azure OpenAI. Le fournisseur se contente de rappeler que GPT-3 peut générer des résumés (et donc des articles ou de la documentation), des contenus et du code.
Selon Andy Thurai, analyste chez Constellation Research, les entreprises peuvent utiliser le service OpenAI pour effectuer des traductions, exécuter des fonctions mathématiques, ou même écrire des nouvelles ou des romans. Le modèle peut également produire une image de qualité à partir d’une image partielle, incomplète ou détériorée, ce qui permet d’automatiser plus rapidement l’édition d’images, de photos et de vidéos.
Une autre caractéristique notable de GPT-3 serait l’étiquetage de données brutes, selon l’analyste de Constellation Research. Dans énormément de cas, les équipes de data science commencent par effectuer eux-mêmes cette labellisation, avant de passer rapidement la main aux métiers dans l’entreprise à ou à des tiers via des services de microtravail de type Amazon Mechanical Turk (même Microsoft propose de l’utiliser).
« L’étiquetage des données brutes est devenu assez coûteux », remarque Andy Thuray. « Potentiellement, cela peut aider à maîtriser ce coût par l’étiquetage automatique en utilisant l’IA ».
Sur le papier, une telle technologie semble idéale pour itérer sur des modèles de deep learning basés sur le préentraînement de GPT-3. Mais Microsoft assure également qu’en utilisant des contrôles et des réglages fins avancés, les entreprises seront en mesure de déployer les modèles dans leurs applications les plus critiques.
« Comme nous voyons de plus en plus d’entreprises déplacer des applications critiques, elles recherchent également une fonction cloud-native supplémentaire, des contrôles API et autres », déclare Sid Nag. « C’est un avantage important que Microsoft aurait dans la mesure où il attirerait les clients à utiliser ce service. »
La concurrence est en avance
Selon Holger Mueller, analyste chez Constellation Research, le service Azure OpenAI est un pas en avant pour Microsoft qui souhaite se faire une place sur le marché des services de traitement du langage naturel. Cependant, d’autres acteurs du marché sont déjà en avance, prévient-il.
« La concurrence est vraiment très forte avec AWS d’un côté et Google de l’autre », note Holger Mueller.
Pour l’analyste, Google est en avance parce que le fournisseur est l’un des pionniers du développement de réseaux de neurones dédiés au langage et à la parole. À en croire Holger Mueller, Google aurait un avantage considérable, car il exploite ses technologies NLP/NLG à l’échelle de l’Internet, ce qui les rend moins chères et plus rapides. Par ailleurs, la firme de Mountain View pourrait compter sur ses puces maison Tensor.
Le service Azure OpenAI serait un « tremplin pour Microsoft afin d’être compétitif », lance Holger Mueller.
L’analyste tient à préciser que si Microsoft peut tenter de jouer sur le prix de son service, les entreprises effectuant de lourds traitements NLP/NLG sont souvent davantage préoccupées par l’infrastructure sous-jacente que par le tarif pratiqué.
En la matière, Google et AWS – les principaux concurrents de Microsoft – ont un avantage, car ils disposent de leur propre architecture matérielle, affirme Holger Mueller.
Des partenariats technologiques plutôt que des puces dédiées à l’IA
« Les spécifications matérielles, des puces spécifiquement développées pour exécuter des algorithmes… c’est ce qui compte vraiment », ajoute-t-il.
« Les spécifications matérielles, des puces spécifiquement développées pour exécuter des algorithmes… c’est ce qui compte vraiment. »
Holger MuellerAnalyste, Constellation Research
Selon l’analyste, Microsoft pourrait être en mesure de concurrencer AWS et Google sur le plan matériel si elle développait sa propre architecture de puce pour l’exécution de ses propres algorithmes.
Si Microsoft paraît en retard sur le développement de puces dédiées à l’IA, le fournisseur s’est récemment associé aux fabricants de cartes graphiques Nvidia pour mettre au point un autre projet : le modèle NLG Megatron-Turing (MT-NLG). Selon Andy Thurai, Megatron-Turing serait trois fois plus volumineux que le projet d’OpenAI, puisqu’il compte 530 milliards de paramètres (105 couches) contre 175 milliards de paramètres pour GPT-3 (96 couches).
En clair, pour le moment Microsoft préfère s’adosser à Nvidia. C’est d’ailleurs la collaboration entre ces deux entreprises qui rend possible l’exécution de tels monstres algorithmiques, qui, pour rappel, s’appuient principalement sur la parallélisation massive des puces graphiques. Or, de tels modèles saturent la VRAM de n’importe quel méga-cluster de GPU (GPT-3 a été entraîné avec 285 000 cœurs CPU et 10 000 GPU).
En l’occurrence, les ingénieurs de Microsoft ont mis au point le projet open source DeepSpeed, une bibliothèque d’optimisation d’algorithme de deep learning, dont les deux fonctions majeures sont de partitionner les états d’un modèle et de limiter la consommation de mémoire vive vidéo. Résultat, un seul GPU doté de 32 Go de VRAM suffit à entraîner un modèle doté de plus de 10 milliards de paramètres. Sans DeepSpeed, ce même GPU supporte un modèle comptant au maximum 1,4 milliard de paramètres. Pour rappel, BERT Large, la forme la plus vaste du modèle NLP concocté par Google repose sur 24 couches neuronales et environ 345 millions de paramètres, selon l’université de Standford.
Éthique et environnement : les deux faiblesses d’Azure OpenAI ?
Mais la question de la puissance de calcul et du développement d’une architecture en propre ne sont pas les seuls défis auxquels doit faire face Microsoft. Selon Andy Thurai, l’un des problèmes possibles du service OpenAI est que, si le modèle GPT-3 fonctionne bien pour les requêtes et les traductions simples, il est encore limité pour les tâches les plus complexes.
« Les commentaires et le langage négatifs, racistes, sexistes et partiaux suscitent également des inquiétudes, ce qui préoccupe les responsables de l’éthique dans l’IA », mentionne l’analyste.
Le fait que Microsoft inclut dans son service Azure OpenAI des outils de filtre et de contrôle pour « détecter et mitiger les usages malveillants » semble indiquer que l’entreprise en ait conscience.
En outre, comme d’autres applications d’IA qui traitent des quantités massives de données et qui nécessitent des ressources importantes en matière de calcul et de stockage, le modèle est « non respectueux de l’environnement », affirme-t-il. Ça aussi, Microsoft le sait bien. Le fournisseur ne fait pas de mystère quant à ses émissions globales de CO2 : près de 12 millions de tonnes par an, selon les propos de Côme Perpère, Directeur du développement durable et de la transformation chez Microsoft France. GPT-3 ou non, le géant du cloud s’est engagé à atteindre la neutralité carbone d’ici 2030. Il devra trouver le moyen de poursuivre l’extension de son portfolio IA à moindres frais environnementaux.
Pour approfondir sur Intelligence Artificielle et Data Science
