Les théories et pratiques essentielles pour déployer l’IA générative

Introduction

Depuis l’apparition de ChatGPT en novembre 2022, l’IA générative a envahi l’actualité IT.

Du côté des fournisseurs et des éditeurs, deux approches voient le jour. Deux approches qui ne sont pas forcément antinomiques. Il y a le fait de proposer des boîtes à outils accessibles depuis une plateforme afin d’entraîner et de déployer de grands modèles de langage (ou Large Language Models). L’autre voie consiste à infuser des fonctions d’IA générative dans des produits afin de faire des modèles des assistants capables d’effectuer des tâches spécifiques.

Les acteurs engagés sur ces voies, Salesforce, Google Cloud, AWS, Microsoft – pensent que le cloud est la meilleure manière de répondre aux besoins liés à l’IA générative. Pour autant, il est loin d’être impossible de déployer une application sur site. C’est même l’une des raisons pour lesquelles Nvidia percevait une résurgence des stations de travail capables d’exécuter les modèles d’IA générative.

Si les fournisseurs tentent de tirer rapidement les fruits de cette technologie, les entreprises sont encore frileuses. Cela ne les empêche pas de lancer des PoCs pour se rendre compte des possibilités. Si les enjeux éthiques sont bien compris – ils expliquent en grande partie cette méfiance –, un ensemble de défis techniques demeurent.

Pour autant, un consensus fait jour. Les chercheurs le savaient déjà, mais pour déployer et maintenir en condition opérationnelle les grands modèles de langage, il s’agit de combiner plusieurs techniques. Il y a le recours aux méthodes de deep learning, comme le fine-tuning supervisé et l’apprentissage renforcé. Puis, il y a les techniques propres à l’exploitation des grands modèles de langage, à savoir le prompt engineering, le prompt tuning et la retrieval augmented generation (RAG).

L’une d’entre elles n’est clairement pas à la portée de tous. Les tutoriels pour mettre en pratique le fine-tuning des modèles ou le prompt tuning se multiplient sur le Web. En revanche, l’instauration d’une véritable approche d’apprentissage renforcé avec retour d’informations humain (RLHF) demande des moyens humains et techniques conséquents.

Les développeurs et les data scientists peuvent plus aisément maîtriser la création de prompts, les entrées pour obtenir les réponses souhaitées, et les bases de données vectorielles contenant les documents qui ancrent les contenus générés dans la réalité terrain de l’entreprise. Pour ce faire, les outils open source ou propriétaires pullulent.

Avant cela, il faut comprendre le fonctionnement des modèles d’IA générative. Ce guide essentiel vise à présenter les théories de conception et d’exploitation des grands modèles de langages ainsi que les éléments pratiques pour ce faire. Il met en exergue les efforts des éditeurs pour rendre possible la recherche vectorielle et évoque les risques induits par le choix de licence des fournisseurs de LLM.

1Théorie-

Comprendre les rouages de l’IA générative

2Pratique-

Les méthodes et outils pour exploiter les LLM

3Zoom-

Le retour en grâce de la recherche sémantique

4Licences-

Exploiter commercialement l’IA générative, un défi

5Glossaire-

Quelques définitions