IA responsable : Positive AI, un label pour anticiper les exigences européennes

IA responsable : dompter les algorithmes au quotidien

Au quotidien, et en attendant que les autorités mettent en place cette réglementation, ce sont les entreprises qui doivent s’atteler à trouver des réponses rapides en suivant les recommandations déjà disponibles. D’autant que ces organisations sont confrontées à des pressions internes et externes pour maîtriser les usages sensibles de l’IA.

C’est en tout cas la position des membres de l’initiative Positive AI. Celle-ci résulte de l’association de BCG Gamma, filiale IA de Boston Group Consulting, d’Orange France, de L’Oréal et de Malakoff Humanis en début d’année 2022.

Ces organisations ont fait un constat simple : l’opérationnalisation de l’IA responsable n’est pas une mince affaire.

« Chez Orange, nous avons travaillé sur un algorithme de recommandations des bouquets de chaînes TV sportive afin de cibler au mieux nos clients », relate Gaëlle Le Vu, directrice de la communication chez Orange France. « La première version de cet algorithme mettait un poids tellement fort sur le genre que si l’on l’avait “laissé faire le système”, je pense que plus aucune cliente ne se serait inscrite à ces bouquets sportifs », illustre-t-elle.

Chez Malakoff Humanis, la problématique est d’autant plus complexe qu’il emploie ses algorithmes pour traiter des sujets délicats. Depuis quatre ans, l’assureur a déployé un algorithme qui permet à ses équipes et aux médecins « d’identifier les arrêts de travail dits suspicieux ou abusifs », explique, David Giblas, directeur délégué en charge (en autres) de « la data et du digital » chez Malakoff Humanis.

Même si l’algorithme a été conçu en collaboration avec des médecins et que la prise de décision est humaine, l’assureur a constaté que les faux positifs étaient encore trop nombreux. Certains contrôles médicaux n’avaient pas lieu d’être. « Il y avait des biais d’âge, de localisation, de genres. Nous avons essayé de comprendre parce que les données d’entraînement sont des données réelles », relate David Giblas. Ces données elles-mêmes contenaient des biais. « C’est naturel, c’est humain », estime-t-il.

Malakoff Humanis a donc mis en place des revues trimestrielles des données d’entraînement, des algorithmes et de leurs résultats. Et quand l’utilisateur décide de ne pas suivre l’avis de l’IA, le cas est également étudié.

Et les quatre grandes entreprises ne sont pas les seules concernées.

« Selon une étude de BCG, 84 % des entreprises interrogées considèrent que l’IA responsable devrait être l’un des sujets majeurs pour le top management », affirme Laurent Acharian. « Quand l’on regarde de plus près, seulement 16 % de ces entreprises estiment avoir un programme mature en matière d’IA responsable. Il y a un écart immense entre les intentions et la réalité ».

Un label inspiré des recommandations de la Commission européenne

L’association Positive AI veut ainsi fournir un espace d’échanges pour les dirigeants et les data scientists, un référentiel, puis délivrer un label consacré à l’IA responsable.

« [Positive AI] a pour ambition d’évaluer le niveau de maturité des entreprises de toute taille et de tout secteur en matière d’IA responsable, de mettre à disposition un outil permettant d’identifier des leviers pour ensuite progresser, et enfin de leur permettre d’obtenir un label après un audit indépendant », résume Laëtitia Orsini Sharps, présidente de l’association Positive AI et directrice des activités grand public chez Orange.

Le référentiel est déjà sur pied. Il a été construit sur les « principes clés de l’IA responsable définis par la Commission européenne ». Avant de lancer l’initiative, certains des fondateurs du projet ont mis en place les recommandations de la CE publiées en 2019 dans le guide « Ethics Guidelines for Trustworthy Artificial Intelligence » par le groupe d’expert haut niveau sur l’IA (High-Level Expert Group on AI ou AI HLEG).

« Malakoff Humanis a fait partie des premières entreprises françaises en 2019 à mettre en place ce référentiel. Aujourd’hui, nous l’utilisons pour évaluer deux tiers de nos algorithmes », affirme David Giblas.

Cependant, le dirigeant constate que l’initiative de la CE, pourtant accompagnée d’une communauté d’échanges, ne répondait pas à tous les besoins de son organisation. « Nous voulions aller plus loin : ce n’était pas suffisant en matière d’outillage et de partage de bonnes pratiques », avance-t-il.

Des 109 questions initiales du référentiel AI Trustworthy, Positive AI a tiré une quarantaine de critères d’évaluation « plus précis ». Une vingtaine interroge la démarche de l’entreprise et sa gouvernance de l’IA. Et une vingtaine de points de contrôle servent à évaluer les algorithmes en eux-mêmes. Positive AI axe son évaluation sur trois domaines : justice et équité, transparence et explicabilité, et intervention humaine. Techniquement, il s’agit de mettre en place une forme d’explicabilité – « à minima d’interprétabilité » dixit Davig Giblas – des algorithmes les plus sensibles.

En clair, Positive AI s’intéresse à la fois à la stratégie de l’entreprise, aux pratiques des utilisateurs, à la conception et à la gouvernance des systèmes d’IA et des algorithmes « qui représentent les plus grands risques éthiques ».

« Du point de vue de l’entreprise, l’IA responsable est au service de l’humain. Elle est non discriminatoire, équitable, transparente, répétable et explicable ».

« Du point de vue de l’entreprise, l’IA responsable est au service de l’humain », définit David Giblas. « Elle est non discriminatoire, équitable, transparente, répétable et explicable ».

Au-delà des mots, « le référentiel doit permettre de se positionner avec le moins de subjectivité possible par rapport à ces questionnements », estime-t-il.

Le référentiel a été concocté par des experts métiers et des data scientists travaillant chez les membres fondateurs de Positive AI. L’association a été ensuite accompagnée par le cabinet de conseil et d’audit EY (Ernst & Young) pour rendre ce référentiel auditable.

Un comité d’experts « externes et indépendants » s’est ensuite chargé de revoir le référentiel. Raja Chatila, Professeur émérite de robotique, d’IA et d’éthique à Sorbonne Université ; Caroline Lequesne Roth, Maître de conférences en droit public, et responsable du Master 2 Droit algorithmique et gouvernance des données à l’Université Côte d’Azur ; et Bertrand Braunschweig, Coordonnateur scientifique du programme Confiance.ai sont les trois spécialistes en question.

EY réalisera les audits chez les entreprises qui souhaiteraient obtenir le label Positive AI. Il proposera « trois niveaux de certification graduels », suivant la maturité de l’entreprise.

Anticiper les coûts de l’IA responsable

Au-delà de l’audit, David Giblas estime que cette « démarche volontariste » demande un engagement important des équipes qu’il faut équiper en outils et de la direction qu’il faut parfois éduquer.

Si le dirigeant ne le mentionne pas clairement, il y a également un coût financier à prendre en compte. Dans une proposition du parlement européen et du conseil européen publiée le 21 avril 2021 concernant la réglementation de l’IA, les auteurs-eurodéputés estimaient le coût de mise en conformité « entre 6 000 et 7 000 euros pour la fourniture d’un système d’IA à haut risque moyen, d’une valeur d’environ 170 000 euros d’ici 2025 ». À cela, il faut ajouter des coûts de contrôle humain évalués entre 5 000 et 8 000 euros par an par système, en sus de 3 000 à 7 500 euros par an de vérification.

L’Union européenne n’a pas l’intention de légiférer concernant les systèmes à faible risque. Elle encourage cependant les entreprises qui les déploient à se réunir pour adopter un code de conduite et s’assurer que leurs systèmes d’IA sont dignes de confiance. « Les coûts ainsi engendrés seraient tout au plus aussi élevés que pour les systèmes d’IA à haut risque, mais très probablement inférieurs », écrivent les auteurs de la proposition au Parlement européen.

De son côté, Positive AI n’a pas présenté de grille tarifaire. Le paiement de ce service sera à la carte, en fonction du nombre d’algorithmes évalués et de la taille de l’entreprise. Il ne s’agit pas d’analyser tous les modules et les systèmes d’IA en place : les membres fondateurs ont conscience que cette mission est complexe, sinon impossible. L’obtention du label ne sera possible qu’à partir du début de l’année 2023.

Les ambitions européennes de Positive AI

« Mi-2023, nous avons l’intention de lancer une plateforme digitale pour que les entreprises puissent réaliser un auto-diagnostic avant même de se lancer dans le processus de labellisation », annonce Laëtitia Orsini Sharps.

« Le dialogue, à la fois avec les entreprises qui mettent l’IA en œuvre et à la fois avec les pouvoirs publics en France et en Europe, est absolument clé ».

Entretemps des espaces de retour d’expérience et de bonnes pratiques seront organisés par l’association.

Plus tard, il s’agira de porter les discussions en dehors de la sphère scientifique et entrepreneuriale. « Le dialogue à la fois avec les entreprises qui mettent l’IA en œuvre et à la fois avec les pouvoirs publics en France et en Europe, est absolument clé », assure Laëtitia Orsini Sharps.

Les membres fondateurs de Positive AI le savent très bien. Ils sont en avance de phase par rapport aux exigences européennes qui ne sont pas encore figées, l’IA Act étant en cours d’élaboration.

Ariane Thomas, directrice technique mondiale de la durabilité chez L’Oréal, loue ces ambitions européennes, voire internationales. « Nous avons une véritable volonté d’exposer les difficultés, les opportunités et les résultats obtenus à ce stade sachant qu’il s’agit là d’un sujet émergent et que nous allons faire évoluer le référentiel de façon à être de plus en plus précis », anticipe-t-elle.

Positive AI n’est pas la première initiative de son genre. Le Labelia, un autre label IA responsable et de confiance a été créé en 2021 par l’association Labelia Labs. Le consortium Numeum, a mis en place un manifeste, un guide pratique et une communauté sans toutefois proposer de certifications. Le consortium Confiance.ai, lui, se penche davantage sur la notion de robustesse de l’IA, c’est-à-dire faire en sorte que les défauts des algorithmes ne causent pas de dégâts financiers, matériels ou humains importants.