Guides Essentiels
Voir tous les articles de ce guide
Actualites
Cet article fait partie de notre guide: Guide pour mettre en place une IA générative d’entreprise

IA génératives : les trois évolutions à venir des LLMs

L’ex-directeur EMEA de la recherche en l’IA chez Meta, le français Armand Joulin estime que les grands modèles de langage qui motorisent les IA génératives sont amenés à évoluer dans les deux années à venir. Une opportunité pour les challengers du domaine ?

par
Publié le: 26 juil. 2023

L’ex-directeur de la recherche EMEA du FAIR (Facebook Artificial Intelligence Research) de Meta, Armand Joulin intervenait en juin lors de l’IMAgine Day IA (évènement pendant lequel Mistral AI a exposé sa stratégie pour devenir un acteur majeur de l’IA générative). Celui qui a depuis rejoint Apple comme chercheur en IA est revenu sur les évolutions probables des grands modèles de langages (LLM) dans les deux prochaines années.

Armand Joulin en identifie trois principales

La première est l’accès à un savoir dynamique. Des méthodes existent et le permettent déjà comme celles de Retrieval Augmented Language Modeling (RALM), cite l’expert.

Second changement à venir, toujours selon Armand Joulin : l’accès des modèles au monde réel.

Cet accès passe par la prise en charge d’une plus grande variété de formats de données (audio, image, vidéo, etc.). La finalité sera de doter les modèles d’une « meilleure compréhension de ce que nous voyons afin de mieux nous répondre ». Fin septembre lors de Big Data 2023, le chercheur animera d’ailleurs une conférence intitulée « Vers des IA capables de comprendre le monde visuel. »

Troisième étape : doter les modèles de mémoire.

La mémoire des modèles, mesurée en tokens, reste actuellement très limitée. De multiples méthodes ont été développées pour répondre à cette problématique. L’ambition à terme serait de permettre à un modèle de ne jamais oublier, ou peu – voire de manière contrôlée.

Surfer sur ces évolutions pour concurrencer OpenAI ?

Ces évolutions permettront-elles à de nouveaux entrants outsiders (comme Mistral AI ou l’autre pépite française LightOn, ou encore Datbricks et Genesys) et des technologies comme LlaMa de défier voir de dépasser les solutions d’un OpenAI ou d’un d’Anthorpic ?

Impossible pour LlaMa, répond Armand Joulin. Ses capacités sont en effet fixées, justifie-t-il. Elles dépasseraient légèrement celles de GPT 3, mais pas les versions 3.5 ou 4. Une alternative reste néanmoins parfaitement possible, considère-t-il, sans la nécessité d’une armée mexicaine d’experts en IA.

« Nous l’avons constaté : peu de personnes, mais avec assez de compute quand même, sont capables d’arriver assez haut rapidement. Cela nous laisse un peu d’espoir qu’une bonne équipe, sur de bons rails, puisse rivaliser. Mais ce sera difficile », résume Armand Joulin.

« LlaMa, c’est 5 personnes pendant 6 mois. Ce n’est pas une équipe de 200 ou 400 personnes comme GPT-4. Certes, ils sont exceptionnels, mais c’est 5 individus. Cela montre que ces projets peuvent être à échelle humaine », analyse-t-il. La bataille de l’IA générative ne fait donc que commencer.

Pour approfondir sur Intelligence Artificielle et Data Science