Apprentissage par renforcement : Adaptive ML attire les investisseurs

Adaptive ML mise sur l’apprentissage par renforcement, mais automatisé

« En sus de l’aspect conversationnel, c’est réellement l’apprentissage par renforcement qui a vraiment changé les choses et qui a fait le succès des applications comme ChatGPT », assure Julien Launay.

« En sus de l’aspect conversationnel, c’est réellement l’apprentissage par renforcement qui a vraiment changé les choses et qui a fait le succès des applications comme ChatGPT ».

Ancrer les résultats des grands modèles de langage, les « aligner avec les préférences humaines », voilà l’objectif d’Adaptive ML.

La startup développe en ce sens une plateforme conçue pour superviser les modèles en production et appliquer des méthodes RLHF (Reinforcement Learning With Human Feedbacks) en continu, de manière automatisée, à partir des interactions avec les utilisateurs et des objectifs préalablement fixés.

« Souvent, les entreprises se demandent comment faire en sorte que les LLM accomplissent les tâches qui leur sont confiées, respectent les valeurs de l’entreprise, comprennent ce que veulent faire les utilisateurs, etc. La plupart des bonnes réponses à ces questions se trouvent dans l’apprentissage par renforcement », juge le CEO d’Adaptive ML.

Or cette méthode n’est pas aisée à appliquer. « C’est très difficile. Avec Falcon, il nous a fallu un bon moment pour obtenir quelque chose de performant. Et si l’on pouvait le refaire aujourd’hui, on le referait différemment », reconnaît le jeune dirigeant.

La plateforme d’Adaptive ML devra résoudre cette difficulté en permettant l’analyse des retours des utilisateurs et les métriques d’usage des modèles, puis leur réentraînement automatique au besoin. La startup prévoit également de simplifier l’orchestration d’A/B testing de versions de modèles LLM, afin de déterminer s’ils sont suffisamment performants et rentables pour des cas d’usage déterminés. « L’A/B Testing est très utile pour trouver la bonne taille de modèles ou encore identifier si une version d’un LLM est défaillante ».

Si elle perçoit que son outil sera principalement utilisé par des data scientists, garants des optimisations, et des responsables produits, souhaitant s’assurer des performances de leurs applications propulsées à l’IA générative, Adaptive ML ne veut pas se fermer de portes en matière de cas d’usage. « Notre technologie est plutôt horizontale et est utile dès qu’il y a un retour des utilisateurs ».

Trois grands cas d’usage identifiés

Julien Launay voit pourtant des cas d’usage typiques pour la plateforme automatisée de RLHF. Il s’agit d’affiner les résultats de modèles utilisés dans le cadre d’engagement client (centre de contacts, chatbots, etc.), dans les assistants de développement et, de manière générale, dans les applications de synthèses d’information.

L’objectif ? Optimiser différents aspects liés à l’exécution de LLM dans ces contextes : le taux d’acceptation, le nombre de tours de questions-réponses, etc. « Dans les problématiques de support, il s’agit d’éviter de passer un appel à un supérieur. Souvent, il y a un facteur de coût de plus de dix entre la première ligne et la deuxième ligne de contact », renseigne Julien Launay.

Certaines entreprises commencent à mettre en place des architectures RAG (Retrieval Augmented Generation) justement pour ancrer les résultats des modèles dans leur réalité terrain. « Notre solution est complètement agnostique aux RAG. Il n’y a pas de particularité ou de complexité. À l’avenir, nous développerons sûrement des intégrations beaucoup plus poussées », envisage le CEO.

La solution n’est pas pour toutes les entreprises. La startup le sait. Elle s’adresse aux organisations qui s’apprêtent à déployer des outils d’IA générative spécifiques en production.

Pour fonctionner, la plateforme a besoin d’accéder aux données des utilisateurs et aux poids des modèles. Si les fournisseurs de modèles propriétaires permettent de plus en plus à leurs clients de modifier les poids de leurs LLM, les modèles « open weight » (Llama 2, Mistral 7b, Mixtral, Falcon, etc.) semblent des candidats plus attrayants pour Adaptive ML.

« C’est plus rare, mais certaines entreprises développent également leurs propres poids en interne. Nous percevons différents niveaux de maturité dans nos échanges avec les entreprises. Certaines entraînent ou affinent déjà leurs propres modèles. D’autres sont moins avancées », observe Julien Launay. « Ce qui est important pour nous, c’est qu’elles soient sérieuses et qu’elles aient envie et besoin de déployer des modèles en production ».

Des startups « late stage » et de grands groupes cotés en bourse correspondent à ce profil. Ils peuvent être des éditeurs de solution dans les centres de contact, mais la jeune pousse voit venir à elle « des entreprises qui n’ont pas envie d’attendre que les éditeurs prennent ce sujet à bras le corps, et qui veulent gagner en autonomie ». Adaptive ML est en train d’effectuer ses premières signatures. « Nous allons essayer d’avoir entre trois et cinq “design partners” avec lesquels nous allons développer notre plateforme avant d’en lancer une version bêta dans les mois à venir », annonce le CEO.

Adaptive ML croit tout de même que l’avenir de l’IA générative se jouera dans le fine-tuning continu des modèles.

Il y a d’abord une notion de contrôle, que les entreprises n’ont pas (ou ne sont pas sûres d’avoir) avec des modèles sur étagère accessibles depuis des API. « Dans certaines industries, c’est absolument nécessaire. Il y a aussi un vrai intérêt en matière de performance, afin d’obtenir des modèles qui apprennent véritablement des interactions avec les utilisateurs », juge Julien Launay.

Adaptive ML veut commencer par l’optimisation des LLM exploités par ses clients en interne, mais perçoit un avenir dans la personnalisation des échanges avec les consommateurs. « Les GAFAM et les grandes entreprises technologiques ont bâti une bonne partie de leur valeur sur des systèmes de recommandation et la personnalisation profonde. C’est le cas de Netflix, YouTube, TikTok, Instagram, etc. En IA générative, cette personnalisation n’existe pas encore », estime le CEO.

Miser sur le vivier de talents français

Avant cela, Adaptive ML doit étoffer son équipe. Et pour cela, la jeune pousse commence par ouvrir un laboratoire de recherche à Paris. « Nous avons besoin de profils très pointus en apprentissage par renforcement, des spécialistes de l’optimisation de calcul sur GPU (nous, nous cherchons réellement la performance, car cela se traduira par des déploiements plus frugaux pour nos clients d’HuggingFace) et nous cherchons des ingénieurs back-end et front-end afin de construire le produit », liste Baptiste Pannier. « Nous mettons également un accent sur les profils habitués à Rust », ajoute-t-il. Une partie de la pile technologie, déjà développée par les neuf collaborateurs d’Adaptive ML, s’appuie sur ce langage de programmation orienté objet, réputé pour sa faible consommation mémoire.

En recherche et développement, la startup entend mener des travaux en matière d’auto-annotation. Typiquement, le travail d’apprentissage par renforcement nécessite de solliciter des annotateurs humains, ce qui implique des processus complexes, voire coûteux. Et c’est justement l’une des raisons pour laquelle OpenAI a lancé ChatGPT, afin de récolter des avis sur les résultats de ses modèles. Il y aura toutefois besoin de faire appel à des modèles de machine learning capable d’annoter les questions et les réponses. Un consensus scientifique partagé par Adaptive ML. « Les humains ne seront jamais aussi scalables que les GPU », plaisante Julien Launay.

Adaptive ML espère recruter une dizaine de personnes d’ici à la fin de l’année. « Nous restons opportunistes sur certaines embauches, mais tout l’enjeu pour une société “early stage” est de ne pas embaucher n’importe comment », signale Julien Launay.

Plutôt que de chercher les transfuges en provenance d’autres spécialistes de l’IA générative (quoique personne n’ait dix ans d’expérience dans le domaine, rappelle le CEO), Adaptive ML aimerait convaincre de jeunes chercheurs en provenance d’institutions telles l’INRIA, qui ont pu se spécialiser dans le domaine de l’intelligence artificielle au cours de leurs études. « En France, nous avons des chances de trouver des profils de bonne qualité, surtout en provenance du domaine de la recherche », considère le PDG d’Adaptive ML. « L’écosystème français de l’IA est très dynamique et il y a un très bon vivier de talents ». Ce serait de « véritables motivations » pour rester en France, selon les fondateurs de la startup.

« L’écosystème français de l’IA est très dynamique et il y a un très bon vivier de talents ».

Pour Adaptive ML, le marché des GPU devient (enfin) compétitif

Un autre volet d’investissement pour Adaptive ML concerne les ressources en calcul, même si ses clients déploieront sa plateforme sur leurs propres instances en cloud ou sur site (en tout cas dans un premier temps).

« C’est un enjeu important, mais ce n’est pas bloquant. En comparaison au pré-entraînement, l’apprentissage par renforcement réclame beaucoup moins de ressources de calcul. Nous n’avons pas besoin de 4 000 GPU », lance Julien Launay. « De plus, nous faisons énormément d’efforts pour minimiser l’empreinte mémoire de notre plateforme. Dans le cadre de R&D, nous avons besoin de quelques dizaines, voire une centaine de H100 ».

« Aujourd’hui, il y a beaucoup de fournisseurs alternatifs tels CoreWeave, Fluidstack, Crusoe, Lambda, etc., qui sont beaucoup plus transparents sur leurs prix et qui ont de la disponibilité ».

La dénomination H100 renvoie à la carte accélératrice « star » de Nvidia, celle déployée par tous les fournisseurs cloud, les Américains comme les Européens. « Dans le domaine de l’IA, l’on aime bien se plaindre, se faire des histoires autour des GPU, mais la situation est beaucoup plus compétitive qu’elle ne l’était lorsque nous avons entamé l’entraînement de Falcon », insiste le CEO.

Seuls les hyperscalers avaient la capacité de calcul suffisante pour entraîner cette collection de modèles, qui, justement, a été entraînée à l’aide de 4 000 GPU Nvidia A100. « Ces acteurs n’ont pas forcément des grilles transparentes : la différence de prix que l’on paie finalement en comparaison aux tarifs affichés est énorme. Cela impliquait tout de même un jeu de négociation », se rappelle le dirigeant.

« Aujourd’hui, il y a beaucoup de fournisseurs alternatifs tels CoreWeave, Fluidstack, Crusoe, Lambda, etc., qui sont beaucoup plus transparents sur leurs prix et qui ont de la disponibilité », assure-t-il. De plus, l’arrivée de nouveaux GPU, dont le B100 de Nvidia en 2024 et les cartes concurrentes, par exemple celles d’AMD (qui renforce son outillage logiciel) devraient faciliter le travail des startups et des entreprises.