Bureau Veritas exploite sa première IA pour l’industrie

Une problématique d’analyse de données en très grand nombre

Pour chaque échantillon, des experts doivent analyser les différents paramètres mesurés, les comparer à d'éventuelles données historiques, afin de déterminer un niveau de risque de panne. « Nous avions des problèmes liés au nombre d'échantillons à traiter, car il y a une grande variété d'huiles et d'équipements et cela dépasse les capacités d'un simple système à base de règles. Même si vous vouliez mettre en place un moteur de règles, ce système sera démodé dès le premier jour car il y a sans cesse de nouveaux équipements. »

Le Machine Learning s’est alors imposé comme une solution pouvant venir en aide aux analystes, dans le traitement de ces grands volumes de données. Initialement baptisé SDA pour Smart Data Analysis, le projet est rapidement renommé Charles, du nom d’un Senior Data Analyst impliqué dans le projet. « Notre intention n'était pas de remplacer nos analystes ou de remplacer l'humain dans nos processus. L'idée était d'utiliser Charles comme un système d'aide à nos analystes, l’IA devant faire le tri entre les échantillons nécessitant une intervention humaine et mettre à part le faible pourcentage d'échantillons nécessitant l'intervention du pool d'analystes. »

En effet, dans 80 % des cas, les résultats d’analyse sont normaux et ne nécessitent pas d’analyse complémentaire. L’objectif de Charles est de libérer du temps aux analystes afin qu’ils concentrent leur expertise sur les 20 % d’échantillons considérés comme critiques.

Plus d’un an de travail pour mettre au point l’IA

« Depuis le concept initial, la recherche d'une solution, le choix de Microsoft, construire l'application, cela nous a demandé un an et demi de travail. Depuis quelques mois maintenant le système est en fonctionnement et nous avons suffisamment confiance dans le système pour délivrer ses résultats directement à nos clients ce qui est, de notre point de vue, un pas de géant car nous disons à nos clients que les résultats sont normaux et que leur équipement ne va pas tomber en panne. S'ils ont une panne, ils se retourneront contre nous. »

Pour réaliser l’apprentissage de son algorithme de Machine Learning, Bureau Veritas a pu s’appuyer sur 5 ans de données historiques et apprendre à partir de ces données passées. Cette phase a été menée avec Microsoft, mais pour Sam Fisher, le point clé lors de cette phase fut le travail sur la qualité des données qui devaient être ingérées par l’algorithme de Machine Learning : « Ce n'est pas comme si on pouvait envoyer toutes les données à la machine, puis revenir voir le résultat après être allé boire un café. Un tel projet requiert un gros travail sur la partie donnée. Nous traitons des millions de nouvelles données chaque année avec un pool de 14/15 analystes qui ont chacun des bons jours, des mauvais jours, des opinions différentes. Deux experts pourront ne jamais être d'accord sur tel ou tel cas. Ces divergences d’analyses créaient du bruit sur nos données. Nous avons dû mener une grosse phase de nettoyage des données en début du projet. »

Attention à la conduite du changement auprès des analystes

Pour le responsable Bureau Veritas un autre enseignement important de ce projet concerne le volet « Conduite du changement ».
« Quand vous menez un projet d'Intelligence artificielle mettant en œuvre le Machine Learning, les gens peuvent sentir leur job menacé et vont être très attentifs à la façon dont vous communiquez en interne sur le projet. » La façon dont le projet est présenté en interne est essentielle si on ne veut pas faire face à des blocages sur des personnes qui sont pourtant essentielles au succès du projet. « Si je devais le refaire, je n'aurais jamais appelé ce projet SDA [Smart Data Analysis], ce qui est un nom terrible si on se place du côté du Data Analyst. Nous aurions dû l'appeler Charles dès le début... »

Dans un premier temps, Bureau Veritas a fait le choix de faire tourner Charles en parallèle au circuit normal de ces échantillons afin de s’assurer des performances de son IA. « Nous avons fonctionné en parallèle pendant une longue période car nous devions être très prudents. Le système fonctionnait déjà correctement depuis le début de l'année mais nous avons préféré travailler en parallèle avec lui pendant plusieurs mois. »

La majorité des échantillons traités par les laboratoires où est déployé Charles sont analysés par l'algorithme, mais seulement 20 % des résultats sont envoyés tels quels aux clients, c'est à dire uniquement les échantillons considérés comme normaux et sur lesquels l'indice de confiance de l'algorithme est le plus haut. Le reste des échantillons est encore traité de manière classique par les analystes « humains ».

« Nous espérons pouvoir assouplir un peu cette sélection et faire un peu plus confiance en Charles à l'avenir. Nous devrions pouvoir faire monter le taux à 50 %, des résultats qui pourraient aller directement chez nos clients. » Néanmoins toutes les analyses continuent de passer sous le contrôle d'un analyste qui n'a plus qu'à approuver ou désapprouver le diagnostic de Charles. Même si Bureau Veritas ne souhaite pas encore envoyer directement à ses clients les analyses après leur traitement par le Machine Learning, ce tri représente déjà un gain d'efficacité significatif pour les analystes.

« Par le passé, nos analystes devaient traiter d'énormes quantités d'échantillons chaque jour. Le mot d'ordre, c'était "production, production, production." Aujourd'hui, nous leur demandons de prendre plus de temps sur les échantillons qu'ils ont à traiter et cultiver leurs relations avec nos clients, de manière à améliorer l'expérience que nous délivrons à ces derniers. »

Le responsable le reconnaît, un tel changement d’attitude n’est pas forcément simple à adopter pour des analystes jusqu’alors totalement plongés dans les données à longueur de journée. « Ce n'est pas nécessairement un changement d'attitude facile pour les gens. Certains se sentent plus à l'aise dans la manipulation des données sur un écran que dans le dialogue avec nos clients, donc il nous faut les accompagner dans ce changement, dans cette évolution de leur fonction. » Alors que tous les indicateurs étaient orientés production, « Bureau Veritas étudie de nouveaux indicateurs visant à quantifier la qualité de la recommandation que nous avons délivrée à notre client. »

Une montée en compétences sur le Machine Learning transposable à d’autres domaines

Charles fut une première pour Bureau Veritas, mais pour Sam Fisher de nombreuses autres applications du Machine Learning sont possibles dans le domaine de l'inspection. « De nombreux scénarios pourraient faire un usage de l'IA similaire à ce que nous avons réalisé avec Charles. C'est notamment le cas dans le secteur minier par exemple pour des analyses de minerais via spectrométrie de masse ICP-MS avec 30 à 40 éléments par échantillon. »

Plus que réellement reproduire ce que Bureau Veritas a réalisé pour cette application d’analyse de l’huile avec Charles, le responsable estime que ce projet a permis à Bureau Veritas de gagner en confiance sur la façon dont le Machine Learning fonctionne. « Nous avons gagné en expérience quant au fonctionnement du logiciel Microsoft et nous pouvons facilement identifier à quelles problématiques business pourrait s'appliquer le Machine Learning. »

Charles est aujourd’hui déployé auprès des 4 laboratoires américains OCM de Bureau Veritas. L’IA doit maintenant être déployée à l'échelle mondiale et être mise en service dans les 17 laboratoires de Bureau Veritas dédiés à cette activité.