Comment le Crédit Agricole CIB utilise l’IA pour améliorer la conformité
Pour aider ses experts en conformité financière, Crédit Agricole CIB a déployé un outil NLP pour analyser des rapports financiers et détecter de potentiels risques pour sa sécurité financière.
Crédit Agricole Corporate and Investment Bank (CACIB) est la banque de financement et d’investissement du groupe français. Présent en Europe, aux Amériques, en Asie Pacifique et au Moyen-Orient (33 pays au total), CACIB concentre son activité autour de six pôles majeurs. Cette structure joue le rôle de banque d’investissement, commerciale et de marchés.
Elle s’occupe également des relations clients et du réseau international de Crédit Agricole, de l’optimisation de la Dette et Distribution et des financements structurés.
De par des contraintes réglementaires fortes, les responsables de CACIB se doivent d’être particulièrement vigilants quant aux entreprises avec lesquelles ils traitent.
La structure bancaire lutte contre la fraude, le financement du terrorisme, le blanchiment d’argent et toutes autres activités qui pourraient la mettre en faux au regard de la loi. Elle cherche donc à maintenir une sécurité et un respect des règles financières. Les sanctions peuvent être lourdes de conséquences.
Ces sujets liés à la conformité demandent à une partie des collaborateurs de CACIB de lire des centaines de pages de rapports financiers publics afin de déterminer la santé financière des clients de la banque. Un tel exercice critique s’avère fastidieux, long, et sensible à l’erreur humaine surtout dans un contexte d’explosion des volumes d’information.
Des enjeux critiques de conformité
« Nous voulons transformer de l’information non structurée en donnée structurée. »
Sébastien PiednoirChief Compliance Officer, CACEIS
« Mon sujet, du point de vue de la conformité au sein de CIB, c’est d’être capable de comprendre ce qui est écrit sur un certain nombre de clients ou d’ayants droit de clients […] Nous voulons transformer de l’information non structurée en donnée structurée », déclare Sébastien Piednoir, ancien Chief Transformation Officer, Global Compliance chez Crédit Agricole CIB, devenu Chief Compliance Officer chez CACEIS, une autre filiale du groupe bancaire.
« Nous voulons comprendre à quel point certains clients sont liés ou non à une activité génératrice d’un risque terroriste fort, par exemple, qui déclencherait une décision humaine pour alerter les autorités judiciaires », ajoute-t-il.
Selon, l’ancien Chief Transformation officer, cela demande une analyse humaine très fine, surtout dans un contexte géopolitique particulièrement mouvant.
Pour alléger le fardeau qui pèse sur les épaules des équipes dédiées à la conformité chez CACIB, le responsable a d’abord mis en place un outil de NLU et de NLP basé sur le moteur Watson d’IBM contenu dans l’offre IBM Watson Knowledge.
Sébastien Piednoir prend contact avec IBM en 2015 pour la mise en place d’un pilote consacré à l'analyse de rapports financiers.
« À l’époque IBM est le leader dans le domaine de la compréhension du langage naturel », se rappelle le Chief Transformation Officer. « Les résultats sont déjà prometteurs, mais le coût d’entrée était trop important pour ce qui était encore un pari risqué pour le Crédit Agricole ».
« Nous avons cherché [en 2017] à tester à fond la promesse de l’intelligence artificielle dans nos métiers. »
Sébastien PiednoirCACEIS
Deux ans plus tard, en 2017, CACIB relance l’exercice. « Nous avons cherché à tester à fond la promesse de l’intelligence artificielle dans nos métiers », indique Sébastien Piednoir.
L’équipe en charge du projet sélectionne donc un cas d’usage précis. « Nous voulions nous aider de l’IA pour lire des rapports financiers publics en anglais afin de détecter les entreprises, les activités et les pays qui sont mentionnés dans ces documents et les relations entre ces trois notions ».
La filiale du groupe Crédit Agricole s’appuie alors sur Watson Explorer, une solution d’analyse de contenu hébergée dans le cloud.
Cette corrélation entre les différentes notions par le truchement de l’analyse sémantique s’avère particulièrement intéressante, selon le responsable. Elle permet de rapidement déterminer si les acteurs mentionnés sont présents dans des pays à risque ou associés à des activités indésirables/illégales.
Ce projet de trois mois est un succès. « Nous arrivons à “lire” un rapport financier de 300 pages en cinq à six minutes alors qu’un humain met plusieurs heures à le faire » vante Sébastien Piednoir.
« Nous arrivons à “lire” un rapport financier de 300 pages en cinq à six minutes alors qu’un humain met plusieurs heures à le faire. »
Sébastien PiednoirCACEIS
L’outil atteint alors un score F1 de 75 %. « Une IA qui se trompe une fois sur quatre, beaucoup de mes interlocuteurs considéraient cela comme un échec, mais nous avons la certitude que l’entièreté des rapports financiers a été lue ».
Évidemment, cela constitue un gage de confiance pour un régulateur parce que Crédit Agricole CIB peut prouver qu’elle a multiplié les efforts pour respecter ses obligations légales.
Les collaborateurs estiment qu’ils n’auraient pas pu obtenir les mêmes résultats dans un délai aussi court. Pendant les tests, il leur fallait environ 15 minutes pour vérifier les interprétations de l’application NLU/NLP. « Au mieux les collaborateurs auraient pu vérifier par mots clés les relations entre les entreprises et les pays les plus sensibles et cela aurait pris trois heures ».
Une question d’interprétation
Le cœur d’une telle technologie tient dans la mobilisation de l’intelligence humaine. Ce sont sur les interprétations d’annotateurs et la construction d’un champ lexical que s’appuie le moteur de NLU/NLP de Watson. En effet, il se nourrit des indications transmises par les collaborateurs. Dans la première phase du projet, l’équipe de CACIB a annoté 45 rapports financiers pour obtenir le score évoqué.
« Nous avions besoin d’une équipe multidisciplinaire. »
Sébastien PiednoirCACEIS
« C’est tout sauf un projet technique. Nous avions besoin d’une équipe multidisciplinaire. Le travail d’annotation revêt dans ce contexte une importance cruciale. Si je n’ai pas les bonnes personnes pour annoter, les résultats ne sont pas bons », considère Sébastien Piednoir.
Ce biais lié à l’interprétation implique une organisation particulière afin de réussir un tel projet. Les annotateurs ne doivent pas être trop nombreux, selon le responsable.
« Demander à un grand nombre de collaborateurs de participer à l’annotation est une erreur. Il faut commencer par des notions basiques et employer des personnes spécialisées dans cette pratique – des professeurs pour machine parce que nos experts en conformité indiquent trop de notions », estime-t-il.
Dans le cadre du projet d’une durée de trois mois, le département confidentialité de CACIB a donc fait appel à IBM pour recruter quatre à cinq annotateurs et des consultants. Big Blue a également accompagné le déploiement de cette solution.
Le niveau d’interprétation dépend alors de l’apprentissage effectué par ces annotateurs en fonction des demandes de l’entité bancaire.
Ensuite, l’ancien Chief Transformation Officer estime qu’il y a un travail de formation nécessaire pour que les collaborateurs utilisent correctement l’outil.
Il ne s’agit pas de confier un quelconque pouvoir de décision à une forme d’intelligence artificielle, selon Sébastien Piednoir. « La machine va m’aider à lire et comprendre les informations, mais ce n’est pas elle qui va décider. L’analyse est humaine ».
« La machine va m’aider à lire et comprendre les informations, mais ce n’est pas elle qui va décider. L’analyse est humaine ».
Sébastien PiednoirCACEIS
Ce message, les collaborateurs doivent le comprendre, tout comme ils sont invités à repérer les limites de l’outil pour participer à son amélioration.
Un premier pied à l’étrier du NLP
Entre 2018 et 2019, le projet de trois mois a donné naissance à une deuxième phase pour réintégrer le composant Watson Explorer sur site avec une interface personnalisée, propre à CACIB. Un déploiement qui a pris six mois sans compter la phase de préparation avec IBM. L’outil s’appelle maintenant Metis et a été reproduit en interne à l’aide de technologies open source.
Le travail d’annotation est continu. Il faut d’ailleurs maintenir un contrôle de qualité pour éviter les dérives.
Un deuxième cas d’usage a vu le jour. L’application a été entraînée pour lire les articles de presse et d’identifier des relations nouvelles (entre des pays, des entreprises, des activités et des personnes physiques) sur des thèmes liés à la sécurité financière. Sébastien Piednoir évoque des différences lexicales qu’il faut prendre en compte. Par exemple, le pronom « nous » dans un rapport financier renvoie à l’entreprise rédactrice du document. Dans un article de presse, il évoque le journaliste ou la rédaction. « Cela demande d’annoter certains articles de presse en lui indiquant le type de document auquel l’outil a affaire ».
En février 2020, 500 utilisateurs avaient accès à l’outil d’analyse de textes. Plus de 40 de rapports financiers publics sont traités par mois.
À l’aide de Bertin IT, le Crédit Agricole CIB fait également des transcriptions d’audio en texte, des enregistrements des conversations des traders et des vendeurs, au sein des salles de marché britanniques et françaises. La filiale cherche à analyser en post traitement ces données pour éviter les transmissions d’informations non autorisées.
