Ne pas s’occuper de l’empreinte énergétique de l’IA générative est un pari triplement risqué

Rebond induit

LeMagIT : Les grands modèles de langage (LLM) comme ChatGPT sont à la mode. Mais ils consomment beaucoup d’énergie. Cela ne semble pas encore très bien compris. Comment l’expliquez-vous ?

Jean-Baptiste Bouzige : Il y a aujourd’hui une compréhension imparfaite de l’écosystème qui tend à avoir un côté très « all-in » : on met tout sur les LLMs, sans se préoccuper du reste de la chaîne de valeur. Et de surcroît, c’est vrai, il y a un vrai angle mort sur l’impact énergétique.

Pourtant c’est une question que l’on ne peut pas négliger. D’autant qu’à la consommation des modèles s’ajoute un effet de « rebond induit » – c’est-à-dire qu’il y a une telle mode de la GenAI, que l’on se met à l’utiliser pour des choses sur lesquelles on n’utilisait pas l’IA avant. Et un type d’IA qui consomme beaucoup.

« Il y a une telle mode de la GenAI que l’on se met à l’utiliser pour des choses sur lesquelles on n’utilisait pas l’IA avant. »

Pourtant l’IA générative n’est pas « magique ». Et les LLMs ne fonctionnent pas tout seuls. Dans la chaîne de valeur, il y a toujours besoin de stocker ses données, de cloud, de compute, de GPU, etc.

LeMagIT : L’IA générative est-elle vraiment si énergivore ?

Jean-Baptiste Bouzige : Le BCG projetait que les data centers américains représenteraient en 2030 la consommation d’un tiers des foyers américains. C’était déjà énorme. La consommation du digital prévue – avant les LLMs – devait doubler de 4 à 8 %. Avec les LLMs, on passe à une tout autre échelle.

Il y a aussi d’énormes besoins en refroidissement. On estime que d’ici 2027, les centres de données dans le monde consommeront environ 5 milliards de mètres cubes d’eau. C’est à peu près la moitié de ce que consomme le Royaume-Uni. Or toutes ces consommations, électriques ou d’eau, accélèrent avec l’IA (+25 % à + 30 % par an).

Une métrique intéressante à regarder est aussi celle du prix, car il est très lié à l’empreinte énergétique. Or ce sont la taille et le volume de données des modèles qui font que ces coûts explosent. Et les LLMs, par définition, sont de très gros modèles. Chez Nvidia, l’entraînement de leur LLM a par exemple coûté plus de 11 millions $.

Et encore, l’entraînement ne se fait qu’une seule fois (ou une fois de temps en temps). C’est du « one-off ». Il faut aussi regarder la consommation au quotidien, celle liée à l’utilisation des modèles [N.D.R. : l’inférence]. Pour ChatGPT 3, ce serait entre 700 000 $ et 1 million $ par jour.

LeMagIT : En parlant de « rebond induit » des usages, vous semblez dire qu’on fait appel aux LLMs un peu « à tort et à travers ». Est-ce le cas ?

« Le fondateur de Hugging Face dit que 99,9 % des usages ne nécessitent pas de LLMs. Je pense qu’il a raison. »

Jean-Baptiste Bouzige : Oui. Parce que la GenAI ne résout pas tous les problèmes. Or nous n’avons pas de statistiques sur le nombre de requêtes [à ChatGPT] qui sont réellement utiles ; c’est-à-dire où il n’existe pas d’autres solutions plus efficaces. Le fondateur de Hugging Face dit que 99,9 % des usages ne nécessitent pas de LLMs. Je pense qu’il a raison.

Je le redis, la GenAI n’est pas un « outil magique ». Les modèles « fondationnels », comme les LLMs, n’ont pas effacé tous les autres modèles d’IA – qui vont des statistiques probabilistes au Machine Learning plus classique. Il y a un champ de méthodes à notre disposition.

Être agile avec ces méthodes est probablement la chose la plus maligne à faire.

Une forme d’IA très énergivore

LeMagIT : Pour en revenir à la consommation et à l’optimisation des LLMs, l’IA générative diffère-t-elle de l’IA classique ?

Jean-Baptiste Bouzige : Dans les proportions pour lesquelles la GenAI pose la question [de la consommation énergétique], les LLMs sont nouveaux. Mais la question en elle-même n’est pas nouvelle.

« Dans les proportions pour lesquelles la GenAI pose la question de la consommation énergétique, les LLMs sont nouveaux. »

Dans l’industrialisation de solutions de data se posent toujours ces questions de maîtrise, de contrôle, de coût, d’impact et d’optimisation des modèles. Le travail n’est pas fini quand on a un LLM avec le meilleur pouvoir d’explication. Il faut ensuite l’affiner, voir comment être plus direct, et moins consommer. C’est ce que les mathématiciens appellent « une solution élégante ».

Par exemple, il y a 5 ou 10 ans, pour des solutions de scoring très en avance qui utilisaient des réseaux neuronaux séquentiels, nous nous sommes rendu compte qu’elles consommaient trop sur GCP. Notre mission ne s’est pas arrêtée à mettre en place le modèle le plus puissant. Ensuite, il a fallu réduire par 5, 10 voire 100 sa consommation.

Dans l’IA, baisser la consommation suit un cycle de maturité. Au début, réussir un prototype, c’est très « data-save » – c’est savoir craquer le modèle et avant tout savoir bien choisir le sujet (le « why »), bien le « scoper », etc. La seconde phase, pour que ça soit durable, c’est le « change management » et l’industrialisation « by design ». Au final, c’est une recette. Un équilibre.

Un triple risque pour les entreprises

LeMagIT : Quel est le risque réel pour les entreprises de ne pas regarder la dimension énergétique et écologique de l’IA Générative ?

Jean-Baptiste Bouzige : Déjà, avec le levier de la régulation [N.D.R. : CSRD, ESG, etc.], il y aura un risque légal à moyen terme à ne pas le prendre en compte. Mais il y a aussi le risque de réputation auprès des clients, et en interne, auprès des employés.

« Il y aura un risque légal. Mais aussi un risque de réputation auprès des clients, et en interne, auprès des employés. »

Car plus on utilisera la GenAI, plus il y aura une prise de conscience que les LLMs consomment beaucoup de ressources. C’est aussi un défi d’éducation – des consommateurs et des entreprises – de bien comprendre les endroits où on peut les utiliser ou pas. Tout comme pour la mobilité, il ne s’agira pas seulement de savoir comment, technologiquement, on va réduire les émissions. C’est aussi, et surtout, les usages qu’il faut questionner.

De vraies bonnes questions à se poser dès aujourd’hui sont donc : quel est mon vrai besoin ? Où a-t-on besoin de ce modèle ? Où apporte-t-il une vraie valeur ajoutée ? Et de combien de modèles a-t-on besoin ?

Multiplication des LLMs

LeMagIT : Justement, on commence à s’y perdre un peu dans les LLMs. Pensez-vous que leur nombre va continuer à augmenter ? Ou, va-t-on vers une « sélection naturelle » des modèles ?

« On peut s’interroger sur le nombre de modèles dont nous aurons réellement besoin in fine. »

Isabelle Ryl : Il y a effectivement une tendance à la multiplication des modèles, open source ou non. S’ils présentent tous un certain intérêt (comme d’être entraînés sur des données plus européennes pour les Européens), on peut s’interroger sur le nombre dont nous aurons réellement besoin in fine.

Sans être prévisionniste, il est fort probable que le marché se tasse. Alors, un ou deux gagnants empocheront la mise sur les très grands LLMs. Je ne suis pas sûre que le monde ait besoin d’une centaine de modèles libres ni de 50 modèles entraînés sur des données européennes.

La multiplication des modèles, et donc des apprentissages, a aussi un impact énergétique. Est-ce une grande part de l’empreinte de la GenAI ?

Jean-Baptiste Bouzige : Cela a un vrai impact. Mais l’apprentissage pèse moins que l’usage. D’où la nécessité de mieux analyser et de mieux contrôler le rebond induit par l’effet de mode.

La course à l’échalote

LeMagIT : Les grands acteurs du cloud (AWS, Microsoft, Google, etc.) – qui sont aussi des acteurs majeurs de l’IA – rétorquent qu’ils optimisent l’efficience énergétique de leurs infrastructures. Le problème des LLMs serait donc sous contrôle. Qu’en penser d’après vous ?

Isabelle Ryl : Il est exact que l’efficience des infrastructures augmente. Un article de « Science » a étudié l’augmentation de la consommation des data centers sur une longue période (2010 à 2018) et constate une augmentation raisonnable : 6 % seulement sur la période, quand, dans le même temps, les usages ont explosé de 550 %.

Les prochaines puces seront certainement plus efficaces. Les data centers seront mieux construits, les bonnes pratiques vont se diffuser – comme la chaleur fatale du supercalculateur Jean-Zay installé à Saclay qui est récupérée pour le système de chauffage (une technique utilisée dès 2012 par Blue Waters, le super ordinateur de l’Université Urbana-Champaign de l’Illinois).

Néanmoins, avec les nouveaux usages qu’apporte l’IA, le risque est que la demande croisse plus vite que les gains de consommation apportés par l’amélioration de la technologie. On est dans une course à l’échalote. L’efficacité énergétique augmente, mais elle est toujours rattrapée par l’augmentation des usages.