IA générative : les grandes catégories de LLM

Introduction

Les modèles de langage ne manquent pas. Il y a d’un côté les travaux des éditeurs et des fournisseurs de modèles et de l’autre, les projets communautaires référencés sur Hugging Face. Ces Large Language Models ne visent pas le même objectif. Et la multiplication des projets complexifie le choix pour les entreprises.

À travers ce guide essentiel, nous identifions des catégories de modèles suivant trois aspects principaux : l’architecture du modèle, les méthodes de fine-tuning et les usages.

Nous évoquons ici les modèles denses, Mixture of Experts, les Small Language Models (SLM), les modèles multimodaux et de génération de code. Certaines catégories présentées dans ce guide sont poreuses. L’architecture d’un modèle, à la fois son comportement, les résultats qu’il produit, et la puissance de calcul nécessaire à son exécution. A priori, un petit modèle est plus intéressant à exécuter, mais il présentera des performances moins intéressantes qu’un grand modèle dense, qui lui-même peut être moins intéressant sur ces deux aspects qu’un modèle Sparse Mixture of Experts, combinant plusieurs modèles en un checkpoint.

Pour certaines tâches, il peut être intéressant qu’un modèle soit doté de multiples capacités afin de traiter des images, des sons, du texte, du code, etc. Voilà la raison d’être des modèles multimodaux, voués – à l’avenir – à propulser, par exemple, des agents Web capables d’organiser (accessibles via Internet), ou de devenir une partie du back-end d’une application front-end. Pour d’autres, il est bien plus intéressant de spécialiser les LLM. Les éditeurs se sont principalement concentrés sur la génération de code et poursuivent les recherches en matière de sécurité et de santé.

Ce guide essentiel n’a aucune velléité d’exhaustivité. De nouvelles catégories peuvent émerger et la présence de plus de 570 000 modèles de machine learning sur Hugging Face donne une idée du travail que cela réclamerait.

En revanche, il a vocation à donner un bon aperçu des catégories existantes et il pourra être mis à jour l’avenir. Par ailleurs, ce guide détaille les méthodes de parangonnage des LLM génériques – souvent utilisées comme des arguments marketing – et les outils mis en place par les fournisseurs cloud afin d’évaluer les modèles dans l’exécution de certaines tâches ou au regard d’instructions spécifiques.

1Fondation-

Les modèles « denses »

2Optimisation-

Les modèles Mixture of Experts

3Rentabilité-

Les Small Language Models

4Versatilité-

Les modèles multimodaux

5Développement-

Les modèles de génération de code

6Évaluation-

Les benchmarks et les outils