IA : les experts face au mur de l’élaboration d’un « cadre de confiance »

Audit des algorithmes et des données associées

C’est justement pour combler ce retard en matière de conformité et d’audit qu’un groupe de travail français se penche sur le sujet depuis trois ans. L’objectif de ces travaux, pilotés par l’Académie des Sciences et Techniques Comptables et Financières, est d’élaborer un « cadre de confiance ».

Une présentation des premiers résultats de ce cadre se déroulait lors d’un webinaire le 21 janvier. Et première conclusion, la mission s’annonce loin d’être achevée. « Le but de ce groupe de travail reste encore de déterminer comment procéder à l’audit des algorithmes et des données qui leur sont associées », reconnaît le président de l’Académie, William Nahum.

Mais voilà, « en matière d’IA, il n’existe pas de recueil de bonnes pratiques ou de référentiels réels. Des idées, oui, mais rien de complet », confirme Serge Yablonsky, expert-comptable et commissaire aux comptes. Pour l’audit des SI, la bible des auditeurs reste ainsi Cobit, mais celui-ci « mérite d’être complété pour intégrer les risques spécifiques de l’IA ».

Avant d’accoucher d’une solution à la question de l’auditabilité de l’intelligence artificielle (et ainsi certifier des IA de confiance), les experts se sont donc livrés à un recensement « des manques ». Et ils sont nombreux. De premières recommandations sont néanmoins déjà avancées sur les enjeux liés aux exigences vis-à-vis de l’IA, de la gestion des risques, des responsabilités et des bonnes pratiques.

Trois résolutions du Parlement européen sur l’IA

Mais pourquoi un tel intérêt à définir un cadre d’audit pour l’IA ? Parce que la réglementation européenne dans ce domaine commence à prendre forme. Le Parlement européen propose en effet trois  (1) résolutions, rappellent l'Académie (NB : en fait quatre, cf. note de bas de page). Les entreprises doivent donc anticiper ces règles futures. Et plus encore lorsqu’elles développent des IA « à haut risque ».

Car la Commission européenne - l'autre grande institution législative de l'Union Européenne - a d’ores et déjà défini dans un livre blanc les deux critères « cumulatifs » qui déterminent l’appartenance (ou non) à cette catégorie bien particulière d’IA.

L'IA à haut risque concerne à la fois un des secteurs identifiés comme sensibles en matière de risques (défense, énergie, santé, transport, etc.) et des usages particuliers (recrutement, notation des étudiants, octroi de prêts, etc.).

En matière de gestion des risques par exemple, les entreprises qui conçoivent des technologies devront donc pouvoir expliquer les décisions de leurs algorithmes (l’explicabilité des IA). Or, en fonction des modèles retenus et des algorithmes, l'explicabilité peut s’avérer extrêmement complexe à établir, en particulier pour le deep learning.

« Il y a déjà plus de 25 ans, on travaillait sur l’explicabilité des systèmes experts et un certain nombre de notions ne sont toujours pas résolues. »

La problématique n’est cependant pas nouvelle, rappelle l’enseignante et chercheuse Camille Rosenthal-Sabroux : « il y a déjà plus de vingt-cinq ans, on travaillait sur l’explicabilité des systèmes experts et un certain nombre de notions ne sont toujours pas résolues. Elles sont encore d’actualité ». Avec des spécificités néanmoins.

La « baguette magique » n’existe pas pour classifier les risques

Le groupe de travail préconise donc d’élaborer des modèles spécifiques de classification des risques. Mais il faut oublier toute « baguette magique capable de tout résoudre, quelle que soit l’application d’IA », prévient Camille Rosenthal-Sabroux. En effet, il existe plusieurs types d’IA, de techniques d’apprentissage, de raisonnements, etc.

Pour atténuer les risques, les experts recommandent l’introduction de nouveaux principes : minimisation, précaution, vigilance, proportionnalité, non-malfaisance et alertes. « L’idée est de concevoir une démarche » spécifique qui devra être « intégrée », « holistique », « dynamique », mais également « simple et souple ».

Et si les organisations doivent se préoccuper des risques, comme elles le font déjà en matière de cybersécurité, c’est notamment pour des raisons de responsabilités. Mais dans ce domaine, comme dans tout ce qui touche à l’IA, la complexité domine. Les acteurs qui interviennent dans l’IA sont nombreux et divers : opérateur de l’algorithme, data scientist, utilisateur, régulateur, etc. « La chaîne de responsabilités est conséquente », commente Jean-Laurent Lienhardt, expert-comptable mémorialiste.

Le groupe de travail avance ici aussi des pistes, au travers d’un « référentiel global », d’un encadrement strict, en particulier des données personnelles en lien avec le RGPD.

L’encadrement dans la constitution des bases de données permettra, quant à lui, de limiter les biais lors de la phase d’apprentissage des IA. Il préconise également des réglementations sectorielles, la création de régimes autonomes de responsabilité, relatives notamment au concepteur afin d’engager sa responsabilité. Une matrice d’imputation des responsabilités par les différents opérateurs et acteurs de l’IA est par ailleurs en cours d’élaboration.

Vers des commissaires à l’IA pour certifier l’audit des IA

Auditeurs et organismes de certification entendent eux aussi jouer un rôle en faveur de la confiance et donc de l’adoption de ces technologies. Mais là aussi, les lacunes sont majeures, déjà en ce qui concerne les bonnes pratiques à respecter par les concepteurs de systèmes d’IA. Or, comme le souligne Claude Salzman, consultant en système d’information, « pas d’audit sans bonnes pratiques ».

« Il y a de bonnes pratiques pour beaucoup de choses, hormis pour l’IA », ajoute-t-il.

Le Parlement de l’UE propose cependant neuf principes éthiques, comme par exemple un droit de recours des individus lorsqu'ils ont été soumis d'une manière ou d'une autre à une évaluation qui fait intervenir un algorithme (voir encadré ci-dessus). 

L’Académie des Sciences et Techniques Comptables et Financières s'inspire et complète la liste pour formaliser quatorze bonnes pratiques (voir encadré ci-dessous). Elles portent sur le contrôle par l’humain, le respect de la vie privée, la transparence ou la gouvernance des données. S’y ajoutent des règles tirées de Cobit, comme le respect du cycle de développement et l’évaluation de la satisfaction des utilisateurs.

Ces bonnes pratiques devraient donc guider les auditeurs, en particulier dans une démarche de certification des IA. Patrick Stachtchenko, spécialiste de l’audit, insiste cependant sur l’élaboration d’un cadre international pour ces audits et ces certifications, comme c’est le cas par exemple pour les comptes des entreprises.

Ces missions pourraient être confiées à des « commissaires à l’IA », l’équivalent des actuels commissaires aux comptes. Mais ce métier, comme la régulation de l’IA plus largement, reste à inventer.

(1) Les trois projets de résolutions du Parlement européen : 1, 2, 3 sur le site du Parlement européen. À noter que le Parlement a également voté une quatrième résolution début 2021.