Éthique, MLOps, IA générative : la LF AI & Data fait le plein de projets
Au rythme moyen d’un nouveau projet incubé par mois, la LF AI & Data, la branche de la fondation Linux dédiée à l’intelligence artificielle, connaît un gain de popularité important. Outre des projets consacrés au MLOps et à l’explicabilité des algorithmes, l’ONG espère rallier les organisations autour de communs open source de l’IA générative.
Au mois de septembre, la LF AI & Data a accueilli trois nouveaux projets présentés lors de l’Open Source Summit 2023, à Bilbao.
D’abord, DeepCausality fait son entrée dans son portfolio comme un projet Sandbox. Il s’agit d’une librairie « de causalité computationnelle avancée adaptée au langage de programmation Rust ». Contrairement au Deep Learning qui s’appuie sur la corrélation de données et une approche non déterministe, la causalité computationnelle repose sur l’analyse des relations de cause à effet.
Il s’agit de croiser les informations spatio-temporelles associées à des données pour les contextualiser. Cette technologie peut être utilisée dans le cadre de la modélisation financière ou encore pour renforcer l’efficacité des systèmes de contrôle dynamique (tout système exécuté en temps réel, par exemple une infrastructure cloud ou un avion). Il est également possible de combiner DeepCausality avec des modèles de deep learning pour encadrer les résultats qu’ils peuvent fournir.
Ensuite, Fujitsu a profité de l’événement pour libérer deux projets open source.
Le premier, SapientML, est un outil d’AutoML écrit en Python consacré au développement rapide de modèles de machine learning. À partir de données tabulaires, il est possible de mettre en compétition 20 modèles de prédiction de tâches tirés des librairies comme XGBoost ou encore Scikit Learn. L’outil génère alors le code du modèle le plus approprié. Selon Fujistu, contrairement aux autres technologies d’AutoML, SapientML ne requiert pas d’exécuter chacun des modèles de machine learning sélectionnés, ce qui évite d’accaparer des machines pendant de longues heures et de grosses factures dans le cloud. Techniquement, il s’agit de « réduire l’espace de recherche », c’est-à-dire le temps nécessaire pour trouver le bon modèle et établir le pipeline nécessaire à son exécution.
SapientML, l’autoML « low-cost »
Pour ce faire, les chercheurs de Fujitsu ont imaginé un « modèle de machine learning qui crée d’autres modèles ».
« La première étape consiste à utiliser un modèle de machine learning pour prédire un ensemble de composants ML plausibles afin de constituer un pipeline », décrivent les chercheurs. « Au cours de la deuxième étape, cet ensemble est ensuite affiné en un petit groupe de pipelines concrets viables à l’aide de contraintes syntaxiques dérivées du corpus et du modèle de machine learning. L’évaluation dynamique de ces quelques pipelines, au cours de la troisième étape, permet de trouver la meilleure solution ».
Le modèle en question a été entraîné à partir de 1 094 pipelines et 170 jeux de données tabulaires issus de Kaggle.
Autre point important pour le fournisseur, SapientML ne doit pas produire de modèles boîtes noires. Le code du modèle et du pipeline générés est lisible par un humain et peut être modifié après coup. Les data scientists peuvent utiliser leurs propres jeux de données et pipelines en combinaison de SapientML pour automatiser la création des suivants.
« Nous déployons cette technologie dans certaines usines et dans des magasins. Certains de nos clients bancaires l’exploitent également », explique Vivek Mahajan, CTO de Fujitsu.
Intersectional Fairness : à la recherche des biais intersectionnels
Le second projet donné par Fujitsu à la LF AI & Data se nomme Intersectional Fairness. Il s’agit d’un outil de détection et de mitigation de biais dans des algorithmes de machine learning. Il peut être combiné avec AI Fairness 360, donné par IBM à cette même fondation en 2020.
Aujourd’hui, les détections de biais dans les modèles statistiques et de machine learning sont généralement effectuées en prenant en compte un seul attribut. Pour davantage d’équité et d’explicabilité, les chercheurs de Fujitsu cherchent à croiser plusieurs de ces attributs.
Dans le détail, les chercheurs de Fujitsu s’appuient sur une méthode développée en interne nommée One vs One Mitigation. Il s’agit de comparer des paires de sous-groupes d’une population afin de constater si oui ou non une sous-population n’est pas plus mal considérée en entrée et en sortie d’un modèle.
À titre d’exemple, Fujitsu évoque un algorithme d’aide à l’accord de crédit. Si les hommes semblent légèrement favorisés par rapport aux femmes, il se peut que le groupe de femmes « non blanches » (sic) soit soumis à un taux de refus bien plus élevé que celui des femmes, des femmes blanches ou des hommes.
La détection de ces biais intersectionnels permet de réajuster des modèles traditionnellement entraînés sur des données historiques. Fujitsu ne veut pas seulement s’attaquer au biais de genre ou de « race ». La méthode de mesure des biais intersectionnels doit pouvoir s’appliquer à tout processus de décision.
Pour l’instant, Instersectional Fairness prend en charge quatre techniques de prétraitement, in traitement et post-traitement : l’égalisation des chances, le data massaging, le débiaisage adversarial et la classification avec option de rejet. En clair, la méthode peut être appliquée tout au long du cycle de vie d’un modèle.
En principe, il serait possible de croiser un nombre infini d’attributs, mais le projet en est à ses débuts, signale Alvaro Cabrejas Egea, responsable de recherche chez Fujitsu Research Europe. Pour l’instant, il est recommandé d’exploiter un maximum de trois attributs croisés, par exemple le genre, l’âge et l’origine d’un individu.
Ces deux projets émanent de la plateforme d’IA connue sous le nom de code Kozuchi. Lancée en avril 2023, cette PaaS consacrée au déploiement de PoC fournit des « moteurs » AI Core, à savoir des systèmes et des logiciels consacrés à différentes tâches, dont une brique AutoML, de détection de biais, ou encore de vision par ordinateur.
Établir les communs d’une IA générative, éthique et open source
Fujitsu n’a pas seulement contribué ces outils sous licence Apache 2.0, mais également devenu membre de la LF AI & Data, tout comme Ant Group, New Relic et Cloud Geometry. Intel, IBM et AWS, eux, ont acquis récemment le statut de membres au comité de l’ONG, aux côtés de Huawei, Ericsson, ZTE, Nokia, SAS, Oppo et 4Paradigm.
En un peu plus de quatre ans, la LF AI & Data a réussi à réunir 63 membres, a incubé 55 projets techniques et a bénéficié des contributions de plus de 650 organisations pour un total de plus de 27 700 contributeurs actifs.
« Nous avons structuré cet effort il y a environ un mois, avec la participation de 25 organisations »
Ibrahim HaddadVP, Strategic Programs AI & Data, Linux Foundation.
Et comme cette fondation se concentre sur l’hébergement de projets consacrés à l’interopérabilité, l’observabilité des données et des modèles, ainsi qu’à l’explicabilité et l’éthique de l’IA, elle ne pouvait pas laisser passer l’occasion de s’intéresser à l’IA générative.
Les organisateurs ont profité de l’Open Source Summit pour officialiser le lancement de Generative AI Commons.
« Nous avons structuré cet effort il y a environ un mois, avec la participation de 25 organisations », explique Ibrahim Haddad, VP, Strategic Programs AI & Data à la Linux Foundation. « Beaucoup de nos membres ont ressenti le besoin de lancer une initiative spécifique à cet espace de la recherche ».
Constatant que beaucoup des projets de recherche, des outils d’IA générative et des plateformes qui les accueillent ne sont pas open source, la LF AI & Data souhaite par là rappeler qu’elle a vocation à maintenir une gouvernance ouverte, non lucrative et neutre.
La fondation cherche à explorer cinq pistes de travail. La première d’entre elles concerne l’identification des architectures LLM et leurs mises en sécurité d’un point de vue technique et éthique. Generative AI Commons devrait également favoriser l’hébergement et le développement de modèles, de framework et d’application d’IA générative. Une autre piste de travail consiste à héberger des jeux de données et les outils pour les préparer. La LF AI & Data souhaite par ailleurs soutenir l’échange de savoir, et mettre en place des formations et des certifications, ainsi qu’un framework pour évaluer « l’ouverture » d’un modèle NLG suivant la nature des licences appliquées à un modèle, ses poids et des données d’entraînement.
RWKV : une combinaison d’un transformer et d’un RNN
Le projet RWKV, porté par un groupe de chercheurs et entraîné avec les ressources de calcul de StabilityAI et d’EleutherAI, sera le premier commun à rejoindre l’initiative.
Ayant recueilli plus de 9 800 étoiles sur GitHub, RWKV-LM (Receptance Weight Key Value ou RwaKuv) est un réseau de neurones capable de performance proche d’un transformer et qui peut être entraîné directement pour former un grand modèle de langage. Ce modèle de deep learning s’appuie sur un mécanisme d’attention local linéaire, qui lui permet de se comporter comme un transformer à l’entraînement, afin de paralléliser les traitements, et comme un réseau de neurones récurrent pour plus d’efficience à l’inférence. En théorie, cela élargirait la fenêtre de contexte. C’est la « première architecture qui ne soit pas basée sur un transformer capable d’accueillir des dizaines de milliards de paramètres », assurent les chercheurs. Plusieurs LLM communautaires dotés de 7 ou 14 milliards de paramètres s’appuient déjà sur RWKV.
L’entraînement de RWKV-14B a pris 3 mois et aurait coûté environ 100 000 dollars, bien loin des sommes dépensées par OpenAI et Microsoft.
Cette architecture ne permet pas encore d’obtenir les capacités d’un Llama 2, mais elle anime largement les débats au sein de la communauté de l’IA.
« RwaKuv offre des performances étonnantes, beaucoup d’opportunités d’optimisation, et consomme bien moins de VRAM [qu’un transformer] », note Ibrahim Haddad.
Pour approfondir sur Intelligence Artificielle et Data Science
