IA : peut-on conjuguer frugalité et performance ?

Frugalité de l’IA, de quoi parle-t-on ?

La raison d’être de l’IA frugale réside dans la construction de modèles robustes, nécessitant peu de données et de puissance de calcul et consommant moins d’énergie. Cette notion de frugalité peut être envisagée sous plusieurs aspects : technique, philosophique, économique…

Elle vise à répondre à des enjeux de numérique responsable et de nécessaire sobriété face aux défis environnementaux auxquels sont confrontés l’Humanité mais également à contrer la logique du « toujours plus » qui a tendance à primer dans le champ de la recherche en intelligence artificielle.

Idée qui s’illustre notamment dans la course à la performance que se livrent principalement les plus grosses entreprises de la Tech, GAFAM en tête, avec des modèles de Deep Learning intégrant toujours plus de paramètres.

Face à cela, la recherche en IA frugale vise à fournir une troisième voie entre le statu quo technologique et la destruction environnementale, celle de remettre les besoins réels au centre de la recherche et de faire aussi bien avec moins.

Frugalité rime-t-elle avec nullité ?

Si sur le champ purement prosodique ces deux notions riment bien, qu’en est-il sur le champ technologique ?

Il s’agit d’une idée bien installée chez un certain nombre d’entre nous et plus globalement au sein de nos sociétés : la sobriété serait nécessairement synonyme de perte de performance, d’ennui voire de déclin. En effet, il peut être difficile d’admettre que quelque chose puisse rester sobre et performant à la fois.

Et il est alors tout à fait légitime de se poser la question dans le cadre de l’intelligence artificielle. Est-il possible de faire aussi bien avec moins ? En d’autre termes, est-il possible de conjuguer frugalité et performance ?

Des techniques au service de la frugalité

La recherche en IA frugale a déjà produit un certain nombre de techniques qui permettent de construire des algorithmes moins gourmands en ressources tout en préservant leurs performances.

La première de ces techniques, et également l’une de plus prometteuses, est l’apprentissage par transfert ou transfer learning. Cette technique d’apprentissage permet d’exploiter les connaissances de modèles précédemment formés afin de former de nouveaux modèles. Concrètement, au lieu de former un réseau de neurones à partir de zéro pour exécuter une tâche, il est possible d’utiliser un réseau déjà formé dans un domaine différent et de l’adapter au domaine qui nous intéresse.

Par exemple, un algorithme ayant été entraîné pour reconnaître des fleurs pourrait ainsi être réutilisé pour reconnaître des voitures. Cette solution présente ainsi de nombreux avantages car elle réduit considérablement le volume de données nécessaires à un algorithme de Deep Learning, mais également le temps d'entraînement et donc l’empreinte carbone associée.

Même Google s’est lancé dans l’utilisation de cette technique avec son algorithme DistillBERT une version allégée de BERT qui utilise 40 % de paramètres en moins et s'entraîne 60 % plus rapidement tout en conservant 95 % des performances de l’algorithme original, une perte de performance infime au regard des gains dans les autres domaines.

Parmi les autres méthodes l’on peut nommer le pruning ou élagage qui consiste à sectionner certaines branches du réseau de neurones pour ne conserver que les informations qui seront réellement nécessaires à la résolution du « use case » avec une légère perte de performance encore une fois compensée par les gains de temps et de ressource.

La quantization constitue également une option. Ici, on vient simplifier l’information qui circule dans les neurones en arrondissant les valeurs numériques, ce qui permet d’alléger le poids de l’algorithme.

Finalement la technique des mixtures of experts, avec pour exemple Switch Transformer de Google, permet également de faire de la frugalité tout en restant performant.

Un changement de paradigme est nécessaire

Néanmoins, la seule prise en compte de l’aspect technique ne suffit pas à répondre à la question. En effet, il peut être nécessaire de reconsidérer l’idée de performance dans le cadre de l’intelligence artificielle.

Ainsi, un grand nombre de cas d’usage qui existent à l’échelle d’une organisation peuvent être résolus grâce à des algorithmes simples intégrant un nombre limité de paramètres. Les modèles de Deep Learning les plus puissants ont, dans les faits, peu de chance d’être utilisés en dehors des laboratoires de recherche.

En ce sens, il n'y a pas de perte de performance induite par l’utilisation d’algorithmes frugaux car ils répondent à un besoin réel de manière efficace. Nous pouvons en tirer la conclusion suivante : si le système d’IA utilisé par l’entreprise répond au besoin alors il est performant, indépendamment du nombre de paramètres et de sa complexité architecturale.

De la même manière, il faut envisager le concept de performance sous un angle plus large : ne pas considérer uniquement la performance comme un indicateur de la puissance de calcul d’un algorithme mais également la performance environnementale, énergétique et économique. En intégrant ces notions l’on peut dire que l’utilisation d’algorithmes d’IA frugaux ne nuit pas à la performance dans sa globalité, et peut même l’améliorer en induisant des économies d’énergie et une baisse des émissions carbone.

En considérant l’importance croissante des critères environnementaux et l’augmentation du coût de l’énergie, le fait d’intégrer la performance au sens large s'avère pertinente pour les organisations.

Ainsi, on se rend compte qu’il est tout à fait possible de conjuguer frugalité et performance, à la fois grâce à la recherche dans ce domaine qui permet de faire émerger des techniques innovantes, mais également en reconsidérant le concept de performance à l’échelle de l’organisation.

Les algorithmes d’IA frugaux pourraient même devenir un avantage comparatif en permettant d’économiser des ressources énergétiques qui se feront de plus en plus précieuses, mais également en permettant une industrialisation simplifiée, un enjeu majeur lorsque l’on parle d’intelligence artificielle.

Nous le voyons, la clé pour un usage efficace de l’intelligence artificielle dans le futur sera de considérer l’usage de la technologie comme une solution répondant à un besoin, et de toujours avoir en tête le rapport entre le coût (énergétique, environnemental et économique) et la puissance requise pour accomplir une tâche.

A cet égard, il y a fort à parier que le futur de l’intelligence artificielle sera frugal pour une majorité des organisations.