Modèles d’IA et interprétabilité : privilégier la simplicité pour garder le contrôle
Dans cette tribune, Annabelle Blangero, Senior Manager, Data Science chez Ekimetrics, distingue les différents degrés d’interprétabilité des modèles d’IA, étape nécessaire à leur explicabilité et à l’adaptation des entreprises aux régulations naissantes.
L’IA, notamment le machine learning, n’est pas seulement un modèle mathématique fonctionnant avec des algorithmes. Elle doit plutôt être perçue comme un système global, dans lequel nos comportements sont mesurés et prennent la forme de données, qui sont traitées par les modèles algorithmiques pour réaliser des prédictions ou prendre des décisions. Ces résultats sont ensuite présentés sur une interface et utilisés en retour par des humains.
Avec l’IA, les règles ont changé
Toutefois, contrairement à ce qui se passait auparavant avec les programmes informatiques, c’est aujourd’hui la machine qui détermine, seule, les règles qui lient les données d’entrées et de sorties du modèle. C’est cette capacité qui donne toute sa puissance à l’IA et nous permet de résoudre des problèmes qui dépassent les capacités de formalisation humaine. Mais elle se double également d’une contrainte : les règles appliquées par les algorithmes pour parvenir à tel ou tel résultat sont difficiles à appréhender.
Ce qui se passe dans le modèle reste parfois un mystère, même si les techniques d’interprétabilité ont beaucoup progressé ces dernières années. C’est le fameux « effet boîte noire ». Or, lorsque nous décidons d’utiliser l’IA pour prendre des décisions ou faire des prédictions qui auront un impact sur la vie des citoyens, il est crucial, et bientôt réglementaire, de garder le contrôle des modèles et de garantir leur explicabilité.
L’interprétabilité des modèles d’IA devient donc un enjeu fort, à la fois pour ceux qui les conçoivent et pour ceux qui y ont recours. Il s’agit de connaître quels facteurs influencent chaque décision et prédiction, dans quel ordre d’importance (interprétabilité locale), mais aussi quelles règles régissent le modèle de façon générale (interprétabilité globale).
Derrière l’interprétabilité de l’IA, l’impératif de l’explicabilité
Accéder à ces mécanismes va permettre aux data scientists et aux développeurs de garder le contrôle sur leurs modèles, de s’assurer de la pertinence de leurs conclusions et d’effectuer des correctifs si besoin.
Cette transparence sera également utile aux utilisateurs primaires et finaux. Imaginons un modèle de machine learning appliqué au diagnostic médical. Le médecin comme le patient auront tous les deux besoin de savoir sur quels critères la machine a conclu à telle ou telle pathologie. Leurs attentes ne seront toutefois pas exactement les mêmes. Le médecin profitera de l’interprétabilité pour avoir pleinement confiance dans les conclusions du modèle. Le patient souhaitera, quant à lui, obtenir des explications sur le résultat. On voit bien que, selon l’utilisateur de la solution, les informations et la façon de les présenter devront nécessairement être différentes. On touche ici au concept d’explicabilité de l’IA, impossible sans interprétation.
Cette capacité à comprendre les règles utilisées par les modèles algorithmiques sert également l’auditeur. Les réglementations qui se mettent progressivement en place autour de l’IA régiront demain le niveau de criticité des produits commercialisés sur le marché européen. Pour être autorisées, leurs règles devront être explicables.
Des degrés d’interprétabilité qui dépendent du modèle
On parle d’interprétabilité directe dans le cas des modèles simples que sont les arbres de décision ou les régressions. Dans leurs formulations mathématiques, ces derniers livrent directement l’importance (les poids) des différents facteurs utilisés par le modèle pour délivrer la prédiction ou la décision. Dans les secteurs de la banque et de l’assurance, par exemple, la législation impose déjà de fournir cette interprétabilité directe, et donc le recours à des modèles simples. Si monsieur Dupont se voit refuser son emprunt, le banquier doit être en mesure de lui en expliquer les raisons.
L’interprétabilité indirecte concerne, quant à elle, les modèles plus complexes comme les modèles ensemblistes (Random Forest, Gradient Boosting…), le SVM (Support Vecteur Machine) ou encore les réseaux de neurones (Deep Learning), dont aucun n’est directement interprétable. Il existe toutefois des outils open source comme LIME ou SHAP, qui permettent aujourd’hui de donner une estimation de l’importance des différents facteurs entrant dans les règles du modèle.
En ce qui concerne les réseaux de neurones utilisés pour l’analyse d’images ou de texte, de nouvelles solutions se font jour régulièrement, grâce à une recherche très prolifique autour des cartes de saillance ou d’attention qui entrouvrent les boîtes noires. Nous sommes désormais capables, par exemple, d’identifier sur quelle zone d’une image le modèle a porté son « attention » pour prendre sa décision et, ainsi, de valider sa pertinence.
Comprendre les décisions de l’algorithme à tous les niveaux
L’interprétabilité peut être locale, c’est-à-dire s’attacher à définir, pour chaque prédiction ou décision, les facteurs qui ont été décisifs. L’interprétabilité dite globale concerne, quant à elle, les règles du modèle. Ces deux approches permettent à la fois d’apporter aux data scientists des informations sur la robustesse du système et aux utilisateurs d’obtenir une explication sur ses résultats.
Pour illustrer ce double niveau, prenons l’exemple d’un modèle destiné à la prise de décision dans le domaine du prêt bancaire. L’interprétabilité globale va nous dire quels sont les facteurs importants comme le revenu, le genre, le passif financier ou encore l’âge de l’emprunteur ; en d’autres termes, elle nous donne les règles du modèle. L’interprétabilité locale, elle, va permettre de savoir, pour chaque individu, quels éléments spécifiques ont conduit à la décision/prédiction. Si l’on reprend l’exemple de monsieur Dupont, l’interprétabilité locale va pouvoir nous dire que son prêt a été refusé parce qu’il a 75 ans et déjà deux crédits.
Toutefois, d’un point de vue légal, seules les explications fournies par l’interprétabilité directe sont considérées comme directement vérifiables. En effet, l’interprétabilité indirecte conserve une marge d’incertitude, car elle est basée sur des estimations.
La tendance à une IA frugale, explicable et contrôlable
Parce que l’interprétabilité directe n’est aujourd’hui possible que dans le cadre de l’utilisation de modèles algorithmiques simples, la tendance dans l’IA est à une certaine frugalité. Cette dernière est renforcée par le mouvement de la data science qui tend vers des systèmes robustes et économes d’un point de vue énergétique.
Certains regretteront que cette approche se fasse au détriment d’une recherche de la performance. Pourtant, parce qu’il existe aujourd’hui une réelle défiance de la population vis-à-vis de l’automatisation de certains processus, avec la crainte du remplacement de la décision humaine par l’Intelligence Artificielle, parvenir à une bonne explicabilité des modèles apparaît fondamental pour permettre la confiance.
En France, les niveaux de maturité sur ce sujet sont très hétérogènes. Quand certaines entreprises en sont encore à stocker, trier et mettre à disposition leurs données, d’autres déploient déjà des systèmes performants sans trop se préoccuper de leur dimension éthique, souvent perçue comme un luxe non budgété.
Une régulation attendue et qui va dans le bon sens
Si tous les GAFAM assurent aujourd’hui monter des partenariats éthiques et prétendent s’autoréguler, l’écosystème IA a besoin d’un cadre clair et partagé. Seule l’Europe est en mesure de le fournir. De la même façon qu’elle a permis, avec le RGPD, de mieux protéger les données personnelles des citoyens, elle contribuera, demain, à remettre de la confiance dans cet écosystème en portant la vision d’une IA plus humaniste, explicable, sous contrôle et cohérente.
Les entreprises ne doivent pas craindre cette réglementation qui s’annonce, mais s’en saisir comme d’une opportunité pour implémenter des solutions d’IA, éthiques by design. Rappelons que l’IA fonctionne de concert avec l’humain, qui fait partie intégrante du système. Il existe donc une vraie cohérence à recourir à des modèles simples et frugaux, centrés sur l’humain, explicables et transparents, plutôt que de se lancer dans des projets privilégiant l’hyper performance, plus opaques, et dont le contrôle et le maintien restent souvent problématiques.
Annabelle Blangero est docteure en neurosciences, un temps enseignante-chercheuse à l’université d’Oxford et de New York. Elle s’est spécialisée dans l’analyse des processus d’orientation attentionnelle par le biais d’algorithmes de machine learning. Aujourd’hui, Annabelle Blangero est Senior Manager et data scientist chez Ekimetrics.
