IA générative : le Français LightOn met en garde contre la dépendance à OpenAI

Des modèles plus petits, exploitables en local

Si LightOn est une alternative, il a cependant une philosophie très différente.

L’entreprise a débuté son activité en 2016 en développant du hardware pour accélérer les traitements de l’IA. Quand OpenAI arrive en 2020, LightOn réfléchit à la manière dont son produit pourrait être utilisé par cet acteur. Avec une conclusion qui ressemble à un « pivot ».

« Très vite, nous nous sommes dit qu’il nous fallait apprendre à concevoir ce type de modèle nous-mêmes », relate son CEO et cofondateur Igor Carron, lors d’une matinale du cabinet de conseils Artefact sur l’IA générative, le 20 avril. « Nous avons donc commencé à développer nos propres LLMs [N.D.L.R. : grands modèles de langage ou Large Language Models] ».

Pour ses développements, la startup exploite les ressources de calcul fournies aux projets de recherche par le supercalculateur Jean Zay – hébergé en région parisienne – et administré par le GENCI.

LightOn a ainsi mis au point un LLM français « équivalent » à GPT-3, « un peu moins gros, mais avec des capacités similaires », compare Igor Carron. « Nous avons ensuite entraîné d’autres modèles, de plus en plus gros, dont un de 10 milliards de paramètres. Et nous avons commencé en 2022 à le vendre au travers d’une API », continue-t-il.

Mais à l’époque, LightOn doit évangéliser le marché : GPT-3 n’a pas encore la notoriété qui est la sienne aujourd’hui, et le grand public ne parle pas encore de ChatGPT ou de Dall-E. « Nous étions obligés de faire beaucoup d’éducation pour encourager l’utilisation de notre API. » Depuis, les choses semblent avoir changé.

Lutter contre une « dépendance totale » à OpenAI

En fait, LightOn n’entend pas se confronter frontalement à OpenAI et au gigantisme de ses modèles (175 milliards de paramètres pour GPT-3.5). Son différenciateur, souligne Igor Carron, est de proposer un modèle moins volumineux (40 milliards pour Paradigm), avec en contrepartie plusieurs atouts, en particulier pour des entreprises européennes.

« En envoyant vos données à une API publique comme celle d’OpenAI, vous courez le danger qu’elles soient réutilisées pour l’apprentissage des prochaines versions des modèles. »

« Vous pouvez exécuter ce type de modèle sur une infrastructure plus réduite de manière à l’utiliser sans générer une facture exorbitante » vante le co-CEO. Et en l’exécutant sur une infrastructure locale (derrière les murs de l’entreprise ou sur un cloud privé par exemple), les entreprises peuvent alimenter « leurs » LLMs avec leurs propres données.

Les données confidentielles, les connaissances et les savoir-faire d’un client restent donc sur site (ou sur l’instance cloud de son choix). « En envoyant vos données à une API publique comme celle d’OpenAI, vous courez le danger qu’elles soient réutilisées pour l’apprentissage des prochaines versions des modèles » met en garde le dirigeant, qui prend l’exemple d’un groupe minier dont la connaissance des gisements pourrait ainsi être partagée avec des tiers.

Dans l’IA générative – peut-être encore plus que dans d’autres formes d’IA –, les données ont une valeur importante et doivent être protégées, insiste Igor Carron. La preuve ? Des acteurs comme Twitter et Reddit limitent à présent l’accès à leur API pour mieux contrôler l’exploitation qui est faite de leurs patrimoines à des fins d’entraînement des IA tierces.

LightOn invite donc « l’écosystème français et européen » à éviter une « dépendance totale à l’API d’OpenAI ou à d’autres concurrents nord-américains ».

« Chez LightOn, ce que nous proposons aux entreprises avec Paradigm c’est de gérer leurs propres flux de données et de les réutiliser pour réentraîner et améliorer leurs modèles ». Autrement dit des LLM hébergés en France ou en Europe, administrés dans l’infrastructure des utilisateurs, qui leur permettent de valoriser leurs données, tout en gardant la main sur celles-ci.

Des LLMs sur mesure pour chaque entreprise

Depuis le buzz ChatGPT, ce discours et l’acculturation du marché sont plus simples à transmettre, apprécie le cofondateur. Mais dans le même temps, cette démocratisation s’est traduite par des débats d’experts. De grandes figures comme Yann LeCun (de Meta) ou Luc Julia (désormais chez Renault) estiment par exemple que l’IA générative est limitée ou qu’elle n’a rien d’une révolution.

« Localement, pour chaque entreprise, je pense qu’il sera important de disposer de son LLM et de son infrastructure. »

Igor Carron ne souhaite pas rentrer dans ces débats. « Avant décembre 2022, il était compliqué d’expliquer les LLM. Depuis ChatGPT, on est un peu “has been” si on ignore de quoi il s’agit. La question n’est donc pas de savoir s’il s’agit d’une révolution ou non, [ni] de partager l’opinion de Yann ou de Luc. L’important, c’est que ces technologies soient considérées comme viables et qu’elles commencent à être utilisées », retient-il au contraire.

Et plutôt que de théoriser sur une révolution générale (ou non), le dirigeant préfère évoquer la valeur créée par des LLM centrés et adaptés aux besoins particuliers des entreprises utilisatrices. « Une partie de l’entreprise résidera véritablement dans le LLM, construit et personnalisé sur son propre savoir-faire », martèle-t-il. « Localement, pour chaque entreprise, je pense qu’il sera important de disposer de son LLM et de son infrastructure ».

« Nous commençons à entrer dans un nouveau modèle. J’observe un début de prise de conscience de la possibilité, au-delà des data lakes, d’utiliser correctement les données non structurées (…) Dans le futur, une majorité des entreprises seront donc “LLM based”. Elles pourront réellement tirer profit de ces outils pour générer de la valeur en interne à partir de leurs données. », entrevoit-il.

Mais avec sa vingtaine de salariés, LightOn a-t-il véritablement la capacité d’être une alternative crédible aux géants mondiaux avec leurs milliards de dollars d’investissement ?

Igor Carron refuse tout défaitisme. « De petites équipes peuvent faire la différence. », lance-t-il sans complexe. Et « non », continue-t-il, l’Europe n’est pas dépassée… Sauf sur les capacités en matière de GPU.

Une guerre des GPU au désavantage de l’Europe

Ces processeurs, fournis principalement par Nvidia, sont stratégiques pour l’entraînement des modèles ; entraînement qui représente « plusieurs mois [de travail] sur des milliers de GPU ». Or, regrette Igor Carron, « nous n’avons pas aujourd’hui la capacité à Jean Zay, pour réaliser de telles phases d’apprentissage sur des modèles de ce type. »

« Jean Zay, c’est 3 000 GPU hébergés dans le supercalculateur. OpenAI en dispose de 10 000. »

Sur le front des capacités de calcul, l’expert juge même l’Europe « totalement dépassée ». Vincent Luciani, le CEO d’Artefact constate aussi une pénurie des ressources avec des restrictions sur l’accès aux capacités. Avec cette rareté des ressources de calcul, Vincent Luciani craint même « une guerre sur les GPU, qui sont essentiels pour l’entraînement, mais aussi pour l’inférence. », rappelle-t-il.

Également présent lors de la matinale, Yohann Ralle, chef de projet IA à la DGE (Direction Générale des Entreprises), acquiesce. « C’est un vrai enjeu. Pour le moment, Nvidia est en quasi-monopole […] ce qui signifie un contrôle sur les prix »… et déjà des hausses sur la dernière génération de GPU.

Et « Jean Zay n’est pas au niveau de ce que fait un OpenAI ou Anthropic », constate le représentant de Bercy. « Jean Zay, c’est 3 000 GPU hébergés dans le supercalculateur. OpenAI en dispose de 10 000. Quant à Elon Musk, il vient lui aussi de faire l’acquisition de 10 000 GPU pour entraîner son concurrent ».

Pour Igor Carron, la bataille pour l’accès aux GPU est intense. « Des personnes au sein d’entreprises concurrentes ont pour job au quotidien de trouver du compute dans le monde entier, afin de procéder aux calculs d’entraînement des modèles sur plusieurs mois ».

Vers des modèles européens plus sobres ?

Ce problème de compute pourrait néanmoins avoir un effet bénéfique. La pénurie de GPU devrait conduire les acteurs européens à la recherche de modèles plus économes.

« Il y a un autre combat à mener. Ce n’est pas celui de la performance, mais de l’efficience. L’Europe a peut-être ici une énorme carte à jouer », réagit Hanan Ouazan, Partner Data Science & Lead Generative AI chez Artefact.

« Il y a un autre combat à mener. Ce n’est pas celui de la performance, mais de l’efficience. L’Europe a peut-être ici une énorme carte à jouer. »

Les experts réunis par Artefact soulignent aussi l’intérêt des technologies Open source. Reste que ces modèles open source de base ne suffisent pas, insiste le dirigeant de LightOn. « Ils doivent être customisés pour embarquer toute l’activité industrielle et intellectuelle de l’entreprise. »

Car pour Igor Carron, le sujet central reste bien celui de la qualification des données et de leur réutilisation pour entraîner les LLMs. Une étape qui coûte très cher.

À cette complexité, LightOn répond là encore différemment d’un OpenAI en proposant notamment des modèles pré-entraînés. « Nous pouvons entraîner des modèles pour vous […] Nous pouvons faire, pour beaucoup moins cher, des modèles très performants », s’engage-t-il. Reste à savoir si les entreprises européennes se laisseront tenter par ces promesses.