Splunk, une tour de contrôle pour les flux mondiaux de Bolloré Logistics

L’activité de Bolloré Logistics représente 250 000 échanges de données par jour

Au sein de Bolloré Logistics, le service Solutions Echanges gère l’ensemble des flux de données qui irriguent les différentes applications métier de l’entreprise. Cette équipe est constituée de 25 personnes qui ont à leur charge plusieurs plateformes d’échanges de données exploitées par 40 applications métier majeures.

L’entreprise met en œuvre l’ESB webMethods qui traite aujourd’hui 250 000 échanges par jour, la solution Axway Transfer CFT qui assure 200 000 transferts de fichiers chaque jour et un ETL pour 30 000 échanges par jour.

Enfin, une plateforme d’API Management a été mise en place en fin d’année 2018. Cette nouvelle plateforme ne traite que quelques centaines d’appels par jour pour l’instant. « Nous avons sous notre responsabilité une moyenne de 15 à 20 millions d’échanges par mois pour lesquels nous devons nous assurer d’une disponibilité en 24/7 » a expliqué Xavier Roty, Responsable du service Solutions Echanges chez Bolloré Logistics lors du salon Big Data Paris 2019.
« Cette responsabilité nous a poussé à mettre en place un suivi très étroit des flux, notamment auprès de 250 grands clients présents sur la majeure partie du globe. »

Pour renforcer ce suivi, en 2016, est lancé un ambitieux projet visant à renforcer la supervision des infrastructures IT de Bolloré Logistics, un projet qui a franchi une étape importante en 2018 avec le déploiement de Splunk pour la supervision de ces échanges : « L’enjeu de notre projet était d’offrir de la visibilité à nos clients quant au respect de nos SLA et disposer de métriques techniques telles que le taux de succès de chaque flux, la détection  des pertes d’information ou encore l’efficience de nos processus de support et d’escalade des incidents. Enfin, nous souhaitions nous montrer proactifs vis-à-vis des incidents et non plus seulement réactifs. » 

Splunk ressort vainqueur d’une longue phase d’évaluation des solutions

Le projet a été initié en fin d’année 2016 par un travail assez classique d’expression de besoin, suivi par la rencontre des principaux éditeurs et la mise en place des PoCs initiaux lors du premier trimestre 2017.

« Nous avons étudié plusieurs solutions du marché et même étudié la possibilité de développer une solution maison. »

« Nous avons étudié plusieurs solutions du marché et même étudié la possibilité de développer une solution maison pour répondre à nos exigences en termes de monitoring des flux » explique Mourad Bousaffara, Chef de Projet chez Bolloré Logistics.
« Nous souhaitions disposer d’une solution qui nous donne une visibilité en temps réel sur les données échangées, sur l’état des flux et la criticité d’un incident, de même que la durée d’exécution d’un flux de bout en bout. Nous souhaitions aussi une solution où l’on puisse paramétrer des alertes afin de prévenir les techniciens sans spammer leurs boîtes email. La solution devait aussi nous permettre de réaliser un reporting et la génération de KPI répondant à un besoin technique ou un besoin fonctionnel pouvant être remonté auprès de la direction. [Il fallait] générer aussi des tableaux de bord afin de donner une visibilité en agrégeant des durées d’exécution, des statuts d’échanges internes ou internationaux. »

Parmi les solutions évaluées par l’équipe projet figurent les solutions BMC TrueSight, Hadoop, Elastic Search, Micropole, LogPoint, Apache NiFi et Splunk. Outre ces critères fonctionnels et techniques, la dimension économique a pesé sur le choix, mais c’est Splunk qui est finalement choisie.

« Splunk vient se plugger sur nos nœuds existants, collecte la donnée et nous pouvons ensuite l’analyser facilement et créer nos tableaux de bord. »

Le chef de projet ajoute : « Le défi était de mettre en place une application de suivi qui n’entraîne pas de redéveloppements dans nos applications. Nous n’avons pas à intervenir dans le code de nos applications pour générer les logs nécessaires à Splunk, nous n’avons pas à demander aux autres équipes des accès à leurs bases de données afin de développer des requêtes spécifiques. Splunk vient se plugger sur nos nœuds existants, collecte la donnée et nous pouvons ensuite l’analyser facilement et créer nos tableaux de bord. »

Objectif : couvrir l’intégralité du SI à l’horizon 2020

Le projet est véritablement lancé au second semestre 2017 avec le choix de l’intégrateur Orange Business Services afin de mener le déploiement et assister l’équipe projet de Bolloré Logistics dans la création des multiples KPI et tableaux de bord de suivi de ces flux inter-applicatifs, notamment entre l’Afrique et l’Europe, l’Europe et l’Asie.

Trimestre après trimestre, tout au long de l’année 2018 de nouveaux flux sont placés sous la supervision de Splunk et ce travail d’intégration se poursuit encore aujourd’hui.
Mais Xavier Roty révèle que l’objectif va bien au-delà de cette seule surveillance des flux : « L’objectif initial du projet était de monitorer l’activité de l’ensemble de la DSI, mais nous avons considéré cet objectif comme un peu lourd au départ dans ce contexte où l’activité s’appuie sur 40 applications majeures. C’est la raison pour laquelle nous avons décidé de restreindre la couverture du projet au seul suivi des flux dans un premier temps, ce qui n’était déjà pas une mince affaire puisque ce sont 800 000 flux qui sont lancés chaque jour sur un total de 800 à 900 flux unitaires différents. »

La tâche est complexe car si sur ce total il y a des flux simples de type point à point, il y a aussi des flux bien plus complexes, avec un envoi de données qui va démarrer avec une extraction réalisée via un ETL, puis un transfert de fichier et une intégration via l’ESB en central. L’objectif est bien de pouvoir tracer le flux nœud après nœud, afin d’avoir une information en temps réel de l’état du flux.

Vision 360° du SI - Bolloré Logistics

Outre la poursuite du travail sur le backlog des flux qui reste encore à paramétrer sous Splunk, l’objectif a été fixé de monitorer l’ensemble de ceux-ci, des infrastructures et des applications d’ici fin 2020 et obtenir ce que Xavier Roty appelle une vision 360° du SI : « Ce que nous avons mis en place de manière horizontale sur nos flux, nous voulons aujourd’hui le faire de manière verticale avec nos applications en décomposant celles-ci couche par couche, pour chacun des services qu’elle expose. On va collecter des informations qui vont nous permettre de restituer des KPI traduisant l’état de santé de l’application ou une fonction métier. »

L’équipe Solutions Echanges va exploiter ses outils Centreon, Nagios, et quelques autres pour alimenter Splunk avec des informations relatives aux infrastructures du SI et exploiter les innombrables fichiers de logs et événements Windows pour tracer les serveurs. Le but est aussi de collecter des informations sur la disponibilité et les performances des applicatifs, afin de disposer d’une image aussi complète que possible de l’état de santé des applications de Bolloré Logistics.

PoC sur l'outil ITSI - Bolloré Logistics

Le responsable du service  explique : « Nous sommes en train de mener un poc sur l’outil ITSI de Splunk qui semble répondre pleinement à ce que nous voulons mettre en place d’ici 2020. »

Les premiers résultats obtenus sont probants

Si l’équipe Solutions Echanges est loin d’avoir achevé le traitement de ce backlog de flux, Bolloré Logistics enregistre déjà des premiers résultats significatifs comme l’explique Mourad Bousaffara : « nous avons pu démontrer que le nombre de fausses alertes générées par les échanges de données a baissé de 80 %. En effet, lorsqu’un échange est “KO”, nous lançons l’analyse sans connaître a priori la raison de la panne. Cela peut demander plusieurs heures d’analyse pour au final constater qu’il ne s’agissait pas d’une panne mais du simple rejet d’un flux de données par un client. »

Le temps de réaction sur incident a aussi pu être amélioré et désormais tous les processus d’échanges et règles de gestion sont désormais centralisés dans l’outil. En outre, Splunk a permis de mettre en avant le nombre d’occurrences de chaque type d’erreur et ainsi distinguer les problèmes majeurs par rapport aux problèmes plus mineurs de notre architecture. Cette information a permis de réduire le temps d’intervention de 70 % des équipes d’intervention.

« Des utilisateurs qui pouvaient passer jusqu’à 10h par semaine pour détecter les sources d’incident ont pu réduire ce temps passé à 2h seulement. »

Xavier Roty ajoute : « Des utilisateurs qui pouvaient passer jusqu’à 10h par semaine pour détecter les sources d’incident ont pu réduire ce temps passé à 2h seulement. » Si la réactivité des équipes de maintenance a été améliorée, le responsable veut aller plus loin et adopter une démarche plus proactive : « Nous indexons l’ensemble de ces informations de fonctionnement et conservons cette information entre 1 à 2 mois, mais demain nous pousserons toutes ces données dans un Data Lake afin de pouvoir faire de l’analytique sur l’ensemble des flux. »

Pour Bolloré Logistics, les objectifs initiaux quant au suivi des flux de données sont atteints. Reste désormais à étendre le projet aux applications et atteindre cette vision à 360° du SI espérée par Xavier Roty. Après les flux puis les applications, la troisième étape sera de fournir aux directions métier et responsables de solutions les métriques qui leur permettront de jauger la qualité du service qui leur est rendu par la DSI.