SCER : la Green Software Foundation veut instaurer un Nutri-Score de l’IA

Un projet inspiré par le Nutri-Score

Le framework SCER for AI models est divisé en quatre parties. Il y a d’abord la volonté de catégoriser les modèles par tâche, taille, usage et caractéristique. Il s’agit de pouvoir comparer les résultats de plusieurs modèles d’une même catégorie « de manière équitable ».

Puis, le groupe de travail de la GSF entend établir des charges de travail standards, des méthodes de tests, de l’outillage et une infrastructure pour mesurer la consommation d’énergie et les émissions carbone des modèles. Les résultats doivent être reproduisibles et proches de l’usage en condition réelle.

Pour rappel, la Green Software Foundation a déjà mis au point la spécification Software Carbon Intensity (SCI), devenue un standard ISO en mars dernier. Le document ISO/IEC 21021:2024 décrit une méthodologie pour évaluer le taux d’émission carbone d’un système logiciel.

Il faut, par ailleurs, définir la fourchette de notation et développer l’algorithme qui calculera la note. Enfin, le groupe de travail de la GSF entend bâtir un système de labélisation « facile à lire ».

« Il peut y avoir des débats sur les méthodes d’évaluation, mais pour qu’un tel outil soit efficace, il faut que les résultats puissent être compris par le plus grand nombre ».

« C’est en réalité un élément essentiel du framework SCER. Il peut y avoir des débats sur les méthodes d’évaluation, mais pour qu’un tel outil soit efficace, il faut que les résultats puissent être compris par le plus grand nombre », considère Chris Xie.

Pour le co-responsable du projet SCER, il faut que cette notation soit aussi simple à lire que la grille de notation de l’Energy Star (figurant sur les appareils électroménager et High Tech) ou le Nutri-Score.

« Lors d’un précédent voyage à Paris, j’ai acheté des goûters à mes filles. Je suis allé dans un magasin et je tombe sur des produits estampillés du Nutri-Score », raconte-t-il. « J’ai été très satisfait que ce système m’aide à déterminer visuellement quelles collations sont les plus saines et les moins sucrées. Je souhaite que les notes issues du framework SCER soient aussi simples à lire ».

Si la création du groupe de travail autour du SCER a été présentée en octobre 2023, les travaux débutent à peine. Les premières contributions sur le dépôt GitHub du framework sont datées du mois dernier. La présentation lors du framework de l’AI Dev Forum de Paris était l’occasion d’attirer un plus grand nombre de contributeurs. « Il s’agit pour nous de sensibiliser les fournisseurs, les régulateurs, les consommateurs, afin de définir ce standard qui n’existe pas aujourd’hui », insiste Chris Xie.

Salesforce s’intéresse de près au projet SCER

Néanmoins, le projet suscite déjà l’intérêt de Salesforce. Tereze Gaile, strategic client architect Mulesoft et Green Code & Sustainable AI Advocate chez Salesforce, indique lors de l’AI Dev Forum que le groupe s’engage à réduire les émissions carbone liées à l’entraînement de ses modèles. Pour rappel, le géant du CRM a lancé une initiative Green Code en mai 2023.

« Nous regardons les deux faces d’une même pièce. D’une part, cela consiste à réduire l’impact environnemental de l’usage de l’IA. Il peut s’agir par exemple d’adapter les modèles et de se tourner vers des régions cloud à plus faible intensité carbone pour les entraîner », relate-t-elle.

La responsable estime qu’il n’est pas nécessaire qu’un LLM qui génère du code puisse écrire des sonnets. « En ce qui concerne le passage à des régions alimentées par des énergies renouvelables, notre propre équipe de recherche en IA est en mesure de réduire de 68,8 % les émissions lors de la phase d’entraînement », assure-t-elle.

« D’autre part, nous essayons de déterminer comment l’IA peut être utilisée pour le plus grand bien. Qu’en est-il des cas d’usage de l’IA consacré à l’environnement ? », poursuit-elle.

De fait, le géant du CRM, comme beaucoup de fournisseurs sur le marché, entend proposer à ses clients l’accès à de multiples LLM depuis sa plateforme Einstein 1 (les siens et ceux d’acteurs tiers). Or, la directive CSRD imposera progressivement aux entreprises de rapporter les émissions de leurs fournisseurs, celles estampillées Scope 3. L’AI Act, lui, requiert des fournisseurs de LLM à « usage général » de fournir la consommation d’énergie estimée ou réelle de leurs processus d’entraînement (cf. page 454 du texte).

« Aujourd’hui, tout tourne autour de la transparence », insiste Tereze Gaile. Cependant, « l’année dernière, 80 % des fournisseurs des principaux modèles d’IA n’ont pas (ou peu) divulgué de données environnementales ».

« L’année dernière, 80 % des fournisseurs des principaux modèles d’IA n’ont pas ou peu divulgué de données environnementales ».

Ce n’est pas le cas de Salesforce qui a dévoilé les émissions et la consommation d’énergie imputées à l’entraînement de 18 LLM et leurs variants en 2023. Résultat, Salesforce aurait émis 74 tonnes équivalent carbone, quand Meta aurait rejeté dans l’atmosphère 593 tonnes équivalent carbone pour entraîner la collection Llama 2. Tereze Gaile explique cette plus faible empreinte par le développement de modèles spécifiques à la génération de code (CodeGen, CodeT5), d’images (BLIP et BLIP-2) et de petits modèles de langage (XGen 1 et 2).

Par ailleurs, elle précise le mécanisme de compensation du groupe reposant sur la plantation d’arbres. « Pour séquestrer une tonne équivalent CO2, il faut planter puis cultiver pendant dix ans environ 16,5 arbres », indique-t-elle. En clair, le bilan carbone des LLM de Salesforce de l’année 2023 pourrait être compensé en s’assurant de planter et de maintenir en vie 1 221 arbres pendant dix ans. Selon cette grille de lecture, Meta aurait besoin de cultiver 9 785 arbres durant une décennie pour compenser l’impact de Llama 2.

« Pour séquestrer une tonne équivalent CO2, il faut planter puis cultiver pendant dix ans environ 16,5 arbres ».

« Étant donné nos valeurs, le partenariat avec la Green Software Foundation est crucial », estime Tereze Gaile. Beaucoup de choses restent à faire concernant l’émergence du framework SCER. Pour autant, la responsable du développement durable considère que les discussions engagées avec le groupe de travail et des acteurs comme HuggingFace vont bon train.

Salesforce prévoit de participer à l’évolution du framework SCER et de certifier une première série de modèles quand il sera prêt. En interne, Tereze Gaile et son équipe doivent encore faire l’effort de convaincre les développeurs et les data scientists de Salesforce afin de prendre en compte ces notions de transparence et d’impacts environnementaux dans la feuille de route produits.