Avec Paradigm, LightOn pose une alternative souveraine aux services d’OpenAI
La startup française LightOn, auparavant spécialisée dans le développement d’accélérateur analogique de traitement d’IA, entend désormais favoriser le déploiement des cas d’usage propulsés par ses LLM et sa plateforme Paradigm, pouvant se déployer virtuellement dans n’importe quel cloud et sur site.
Né en 2016, LightOn pourrait être grossièrement catégorisé comme le SambaNova français, mais la comparaison ne parlerait pas à tous. Il y a tout de même un parallèle évident entre le parcours de la startup française et celui de l’entreprise californienne, admet Laurent Daudet, coCEO et cofondateur de LightOn.
La startup a été fondée par quatre chercheurs. Aujourd’hui, elle compte une vingtaine d’employés en France et à l’international. « J’ai un lourd passé de prof de fac à l’université Paris Diderot », plaisante Laurent Daudet. « J’ai une carrière universitaire, de recherche. Mes spécialités, ce sont la physique des ondes et la théorie de l’information ».
LightOn a entamé son parcours en développant des OPU. Les « Optical Processing Unit » sont des « dispositifs de calcul analogique qui effectuent des opérations à l’aide de la lumière », vulgarise la documentation de l’éditeur. Des accélérateurs de calcul photoniques dédiés à l’IA. « Au début, nous avons lancé une collaboration de recherche pour explorer les liens entre photonique et intelligence artificielle. Nous sommes partis pour écrire une thèse de hardware, et nous nous sommes rendu compte que ça avait un potentiel ».
En 2018, LightOn a levé 2,9 millions d’euros dans le cadre d’une opération seed, puis a commencé à concevoir ses propres équipements et les piles logicielles qui vont avec. Son premier coprocesseur photonique a été commercialisé en 2020. Quelques appliances LightOn Aurora ont été installées en test, à la fin 2021, au sein du supercalculateur Jean Zay, administré par le GENCI (rattaché au CNRS). Cela a donné lieu à plusieurs tests de la part d’universitaires. Les résultats tendent à indiquer que la technologie est prometteuse, peu consommatrice en énergie, mais encore sujette à amélioration.
Entretemps, l’équipe de LightOn a découvert les grands modèles de langage (Large Language Models ou LLM). « Nous avons eu une révélation. En mai 2020, quand OpenAI a sorti GPT-3, non seulement cela nous a bluffés techniquement, mais nous avons considéré rapidement que cela aurait de l’impact », raconte Laurent Daudet.
Ainsi, LightOn a commencé à développer ses propres modèles en parallèle de la conception de son appliance Aurora.
Or la conception de nouvelles architectures hardware, et leur fabrication, réclame des fonds importants, les investisseurs français sont souvent frileux, tandis que le marché demeure particulièrement fermé, selon Laurent Daudet. « Ce ne sont pas les mêmes constantes de temps : développer des équipements peut porter ses fruits dans trois, cinq, dix ans, tandis que de nouveaux modèles NLG sont présentés régulièrement », estime-t-il.
« Dans les années 1990, il y avait le dicton dans le foot, “et à la fin, c’est l’Allemagne qui gagne”. Dans notre milieu, c’est plutôt “et à la fin, c’est Nvidia qui gagne” ».
Laurent DaudetCofondateur et coCEO, LightOn
Laurent Daudet fait le parallèle avec un vieil adage d’amateurs de football. « Dans les années 1990, il y avait le dicton dans le foot, “et à la fin, c’est l’Allemagne qui gagne”. Dans notre milieu, c’est plutôt “et à la fin, c’est Nvidia qui gagne” ».
La startup a eu l’accès aux ressources de calcul du HPC Jean Zay pour entraîner un modèle NLG monolingue, sur des GPU Nvidia, donc.
« En collaboration avec l’INRIA, nous avons pu entraîner PAGnol, une collection de modèles NLP/NLG uniquement en langue française », indique Laurent Daudet. Le plus important d’entre eux faisait « seulement » 1,5 milliard de paramètres.
« Nous avons été surpris des réactions. Des amis entrepreneurs nous ont appelés en nous disant : “je veux le passer en production la semaine prochaine, où est-ce que je paye ?”. Nous ne l’avions pas conçu comme un produit commercial », relate le cofondateur de LightOn.
LightOn avait acté son pivot. À l’été 2022, la startup a présenté Muse, une API permettant d’accéder au projet VLM-4, une suite de trois modèles LLM dotés de 3 à 10 milliards de paramètres (auriga, orion, lyra) et couvrant cinq langues : l’allemand, l’espagnol, l’italien (auriga), ainsi que l’anglais et le français (orion et lyra).
« Ce n’était qu’une niche, mais depuis la disponibilité de ChatGPT toutes les entreprises veulent utiliser ces modèles LLM », assure Laurent Daudet. « Ce n’est plus une curiosité : le nombre d’entreprises prêtes à passer en production sur certains cas d’usage est vaste. ChatGPT a fait faire un bond de maturité au marché ».
Le moteur de Paradigm : un modèle NLG multilingue doté de 40 milliards de paramètres
C’est dans ce contexte que LigthOn lance Paradigm.
Paradigm est une plateforme contentant des modèles LLM propriétaires, les outils et les accès pour les entraîner ainsi qu’une interface utilisateur no-code pour rédiger au clavier et, à l’avenir, dicter des commandes à la voix. LightOn présente des cas d’usage sur étagère, tels que la production de résumé de vidéo, la classification de retour client, la génération de contenu SEO, l’écriture de résumé de grands documents ou encore l’analyse de threads Twitter. LightOn évoque des connecteurs vers les outils bureautiques de Microsoft (Outlook, Onedrive, etc.), Salesforce ou encore SAP.
Ce ne sont que des exemples : l’idée est de donner aux entreprises les moyens et le support pour entraîner eux-mêmes les modèles sous-jacents ou travailler le « prompt engineering », la science de l’utilisation de commandes pour générer les contenus escomptés.
Les modèles n’ont pour l’instant pas de noms, mais ils sont au nombre de deux. Le premier a été entraîné sur 1,3 billion de tokens (500 milliards de mots environ) et contient 40 milliards de paramètres. Ce réseau de neurones génère et comprend plus de 10 langues, dont le français et l’anglais. L’entraînement de ce modèle établi sur une architecture transformer s’est terminé il y a trois semaines à peine. LightOn s’est appuyé sur un cluster de serveurs comptant 2 000 GPU Nvidia A100 dotés de 80 Go de VRAM chacun. « C’est un diamant brut qu’il faut encore polir », signale Laurent Daudet. Le second est en cours d’apprentissage. Il comptera 180 milliards de paramètres.
« L’architecture du modèle ne fait pas réellement la différence, c’est la qualité et la quantité des données d’entraînements qui compte », explique Laurent Daudet.
Tout comme OpenAI ou Meta, LightOn s’appuie en partie sur des jeux de données CommonCrawl, des extractions directes de pages Web. « Nous avons un ratio plus important de données CommonCrawl, parce que nous avons mis beaucoup d’effort de filtrage et de déduplication afin d’éviter les informations toxiques et les doublons ».
Il y a donc plus de données, mais moins de paramètres. « Nous sommes dans la même philosophie d’architecture que LlaMa de Meta et sa source d’inspiration Chinchilla », poursuit le cofondateur. « C’est très bien pour la mise en production : il suffit de deux GPU Nvidia A100 dotés de 80 GO de VRAM pour exécuter le premier modèle de Paradigm. Un serveur qui coûte 300 000 euros par an, ça fait reculer beaucoup de monde. Là, c’est beaucoup plus raisonnable ».
En soi, les poids du modèle de Paradigm tiennent en mémoire sur un GPU A100 80 Go (entre 14 000 et 20 000 euros HT l’unité, en sus du serveur), mais une deuxième carte est nécessaire pour les performances de traitement.
Un grand modèle de langage à déployer sur site
Car Paradigm n’est pas seulement une offre concurrente à celle d’OpenAI et à Azure OpenAI. C’est une offre potentiellement souveraine. « Pour certaines entreprises, c’est problématique d’utiliser des API dans le cloud. Microsoft et OpenAI, entre autres, offrent un certain nombre de garanties, mais de nombreuses organisations ne peuvent pas utiliser ces services pour des raisons de sécurité, de conformité et de protection des données », avance Laurent Daudet. « Nous proposons de déployer notre plateforme et nos modèles sur le cloud privé – peu importe le fournisseur, par exemple OVHcloud, Outscale – ou sur site, dans le data center des entreprises ».
« Pour certaines entreprises, c’est problématique d’utiliser des API dans le cloud ».
Laurent DaudetCofondateur et coCEO, LightOn
Le modèle de Paradigm dépend donc d’une licence associée à un contrat de support et possiblement des services, au besoin. « Nous ne voulons pas avoir accès aux données ni aux usages des entreprises ».
Les entreprises peuvent toutefois enregistrer les logs en entrée et en sortie des modèles pour demander à LightOn d’appliquer des étapes d’apprentissage par renforcement, afin de personnaliser le modèle, au besoin.
Pour des usages moins critiques ou pour les entreprises qui ont déjà des contrats chez les hyperscalers, la startup envisage de lancer un service managé propulsé par les mêmes technologies sur AWS au printemps. « Ce sera une offre différente », précise Laurent Daudet.
Paradigm est proposée en bêta privée à quelques entreprises qui veulent tester la technologie. « La liste de prospects s’agrandit au jour le jour », affirme le coCEO. Des discussions ont lieu avec les entreprises, mais aussi avec les ministères français.
Même si le moteur de Paradigm n’est pas totalement rodé, Laurent Daudet invite les entreprises non seulement à tester, mais à passer en production ce type de modèles NLG. « La technologie est prête pour être déployée en production pour certains cas d’usage, par exemple la génération de fiches produits, la production de résumés, ou l’assistance des agents dans les centres de contact ».
Pour approfondir sur Intelligence Artificielle et Data Science
