Llama 2 : Meta confond open source et innovation ouverte

Une opportunité commerciale pour Meta

Dans un même temps, Microsoft et OpenAI se sont imposés sur ce très jeune marché, tandis que Google tente de rattraper son retard.

Bien conscient qu’il ne peut pas rester en dehors de cette course folle, Meta a décidé que Llama 2 dépendrait d’une licence « open source », permettant une exploitation commerciale. Il a même fait de Microsoft son partenaire de lancement. Le 24 juillet 2023, le soutien privilégié d’OpenAI a mis à disposition le LLM de Meta sur son cloud Azure en préversion publique à travers son service Azure Machine Learning. Le 18 juillet, AWS dévoilait qu’il hébergerait la collection de modèles depuis Amazon Sagemaker. En début de semaine, Nvidia a annoncé l’ajout de Llama 2 dans son framework NeMo, inclus dans sa suite logicielle Nvidia AI Enterprise. IBM a révélé mercredi 9 août que ce modèle entrera au catalogue de sa plateforme consacrée à la génération de texte, Watsonx.ai.

Selon Dan Miller, analyste chez Opus Research, c’est un double mouvement. « Les grands fournisseurs commencent à prendre conscience de la vitalité de l’écosystème open source et du potentiel d’adoption de ces modèles au sein des entreprises à l’avenir », déclare-t-il auprès de SearchAIEnterprise, une publication sœur du MagIT.

Pour rappel, les modèles les plus performants actuellement – dont GPT-4, Bard et Claude 2 – sont propriétaires. De plus, OpenAI, Anthrophic et même Google ne partagent plus dans le détail leurs efforts de recherche. Or les entreprises s’interrogent sur la possibilité d’affiner l’entraînement ou l’inférence de ces modèles LLM pour servir leurs propres besoins. Ce qui semble plus difficile avec une solution propriétaire.

De son côté, sous l’influence de son équipe de recherche, Meta AI est convaincu que la maîtrise des LLM ne peut être obtenue sans la communauté et des projets disposant de licences ouvertes.

« Alors que de nombreuses entreprises ont choisi de développer l’IA à huis clos, nous publions ouvertement Llama 2 afin d’encourager l’innovation responsable en matière d’IA », écrivent les chercheurs de Meta.

En ce sens, dans l’article technique qui accompagne le code de Llama 2 décrit en détail les méthodes appliquées pour améliorer ce modèle afin qu’il égale ou surpasse les autres LLM ouverts sur le marché (MPT de MosaicML, Falcon, Vicuna). Meta AI tente par ailleurs de jouer sur le terrain des LLM propriétaires tels GPT-4, Claude d’Anthropic et Bard (issu de PaLM-2) de Google.

Meta mise sur l’innovation ouverte en faveur de l’IA responsable

Ainsi, il faut distinguer deux sous-collections : Llama 2 et Llama-2-Chat. Llama 2 est « une version mise à jour de Llama 1 entraîné sur un nouveau mix de données disponibles publiquement », tandis que Llama-2-Chat est « une version fine-tunée de Llama 2 optimisé pour les dialogues en anglais ».

Les deux modèles disposent chacun de trois variantes dotées de 7, 13 et 70 milliards de paramètres (contre 7, 13 et 65 milliards de paramètres pour Llama 1).

Suivant les benchmarks, les résultats de LLama 2 se rapprochent de ceux de PaLM et de GPT-3.5. Aussi, Llama 2 dépasse légèrement les capacités de Llama 1. Pour autant, il demeure un écart de performance « important » entre Llama-2-70B et GPT-4 ou PaLM2-L (540 milliards de paramètres).

Meta AI s’est davantage concentré sur l’affinage supervisé (supervised fine tuning) pour obtenir Llama-2-Chat. C’en est suivi plusieurs cycles d’apprentissage par renforcement avec feedback humain (Reinforcement Learning with Human Feedback, ou RLHF). Meta AI a travaillé sur la qualité des données et « sur l’alignement du comportement du modèle sur les préférences humaines », à savoir la sûreté et la responsabilité.

Selon Meta AI, Llama-2-Chat offre un niveau de sûreté proche de celui de ChatGPT, bien supérieur à PaLM. Aussi, Llama 2 sort moins souvent de son cadre que ses concurrents concernant la production de contenus dangereux.

Ouvert, mais pas open source, dénonce l’OSI

Llama-2-Chat n’est toutefois pas irréprochable et c’est d’ailleurs pour cela que Meta milite en faveur de la science ouverte.

« La collaboration permettra d’améliorer ces modèles et de les rendre plus sûrs », déclarent les auteurs de l’article de recherche consacré à Llama 2.

« Toute la communauté de l’IA, les universitaires, la société civile, les décideurs politiques et l’industrie, doit travailler ensemble pour analyser et exposer rigoureusement les risques des systèmes d’IA actuels et pour élaborer des solutions pour remédier aux utilisations abusives ou potentiellement problématiques ».

« Cette approche favorise non seulement une véritable collaboration avec diverses parties prenantes, au-delà des murs des grandes entreprises technologiques, mais sert également de base à la démocratisation de l’accès aux modèles fondamentaux », poursuivent-ils.

Ils vantent ainsi les bienfaits de la décentralisation des connaissances qui dynamiserait l’innovation. L’accès aux modèles de fondation à de plus petites entreprises représenterait aussi un moyen d’abaisser les coûts tout en privilégiant une plus large adoption des technologies.

Pour autant, la licence qui s’applique à Llama 2 n’est pas considérée comme open source par l’Open Source Initiative. Selon l’OSI, une licence open source ne pose ni de limites d’utilisation ni de droits de regard commerciaux. Or, dans son accord de licence communautaire, Meta fait les deux. Il prohibe l’exploitation du code du modèle et des données mises à disposition pour entraîner d’autres LLM que Llama 2 et ses dérivés, mais aussi pour certains usages (militaires, illégaux, criminels) à travers son règlement des usages acceptables. De plus, Meta se réserve le droit d’accorder ou non l’accès à la licence par des entreprises dont les services sont utilisés par plus de 700 millions d’usagers actifs mensuels le jour de disponibilité de Llama 2. En clair, Meta peut s’il le souhaite interdire l’accès au modèle à ses concurrents, dont Google et le Chinois Bytedance (Tiktok).

L’application pure des licences open source peut être considérée comme dangereuse. C’est en tout cas ce que semble croire Meta, dont l’exercice consiste en grande partie à dompter les hallucinations et la toxicité de ces LLM. Pour autant, les conditions commerciales, aussi ténues soient-elles, démontrent que le géant du Web veut conserver un certain contrôle sur sa propriété intellectuelle.

« L’OSI se réjouit de voir que Meta réduit les obstacles à l’accès aux puissants systèmes d’IA. Malheureusement, le géant technologique a laissé entendre que Llama 2 est open source – ce qui n’est pas le cas », confirme Stefano Maffulli, directeur général de l’Open Source Initiative, dans un billet de blog.

« L’OSI ne remet pas en question le désir de Meta de limiter l’utilisation de Llama à des fins concurrentielles, mais ce faisant, la licence sort de la catégorie “Open Source” », précise-t-il.

« Cela ressemble à l’approche prise par MongoDB et Elastic pour restreindre l’usage de leurs logiciels par des fournisseurs de cloud, comme Amazon », remarque Charlie Hull, directeur marketing d’OpenSource Connections, dans un autre billet.

D’autres acteurs, dont OpenUK, défendent le fait que bien que la licence de Llama 2 est propriétaire, Meta AI favorise l’innovation ouverte.

« Permettre la collaboration au sein de nos communautés ouvertes est une étape essentielle pour l’avenir de cette technologie et sa démocratisation », assure Amanda Brock, directrice générale d’OpenUK. « Bien que nous reconnaissions que cette licence n’est pas une licence officielle “open source”, elle offre une certitude à ceux qui veulent tirer parti de Llama 2 ».

Un équilibre à (re)trouver

Aussi, Meta, tout comme Amazon, Anthropic, Google, Microsoft, Inflection et OpenAI ont signé un engagement avec le gouvernement Biden-Harris pour « se diriger vers un développement des technologies d’IA sûr, sécurisé et transparent ».

À cet engagement volontaire, s’ajoutera, dans un avenir proche, l’application de l’AI Act européen. Ce règlement est voué à contrôler les intelligences artificielles selon les risques qu’elles posent. Il oblige de dévoiler une bonne partie du code d’un système d’IA à leurs pairs. Les grands acteurs technologiques s’apprêtent à se plier à des règles qui – de facto – ne respectent pas les préceptes de l’Open Source Initiative.

Une situation qui pourrait conduire à la révision des liens entre open source et intelligence artificielle. « L’OSI est consciente de l’importance de parvenir à une compréhension commune de ce qui signifie l’ouverture pour les systèmes d’IA », juge Stefano Maffuli. « Il s’agit de nouveaux artefacts humains, tout comme les logiciels l’étaient dans les années 1970 ».

Il ne faut pas sous-estimer un danger. Bien que l’IA explicable et sûre représente un intérêt économique non négligeable, Charlie Hull considère pour sa part qu’il ne faut pas laisser les géants des technologies « plier, voire briser le modèle de l’open source à leurs propres fins commerciales ». « Ce qui constitue la véritable liberté – telle qu’elle est incarnée par le mouvement open source – est important et nous devrions nous méfier de tous ceux qui tentent de la diluer », conclut-il.