Adeo migre ses rapports BI par milliers
Plus connu pour sous ses enseignes Leroy Merlin, Bricoman, Weldom KBane et tout récemment Saint Maclou, Adeo est un géant de la distribution spécialisée. Avec plus de 1 000 points de vente implantés dans 23 pays, une activité qui nécessite la création de nombreux rapports et tableaux de bord de tous types qui se sont accumulés au fil des ans. Une remise à plat s’imposait.
Cent soixante-trois mille (!). C’est le nombre de tableaux de bord recensés en janvier 2023 au sein du groupe Adeo. Ce patrimoine impressionnant se répartit entre 120 305 dashboards créés sur SAP BusinessObjects, 37 749 sur Looker Studio, 5 000 sur Microsoft Power BI et une centaine sous Looker. À cette date, tous les rapports Qlik avaient déjà été décommissionnés, mais un effort de rationalisation, et surtout de migration vers une solution plus moderne, s’avérait nécessaire. Wassim M’Sallem (en photo ci-dessus), product Leader chez Adeo fixe alors l’objectif : le nombre de rapports doit être réduit à 40 000 d’ici à la fin de l’année 2025. « La première chose que nous avons faite, c’est de rationaliser les outils », explique le responsable. « Nous avons décidé de nous concentrer sur deux d’entre eux : Looker et Power BI », annonce-t-il.
Wassim M’SallemProduct Leader Dataviz, Adeo
Bien qu’attachés à leurs écosystèmes respectifs, Google Cloud et Microsoft Azure, Looker et Power BI peuvent s’intégrer avec différents environnements. Aussi et surtout, ils satisfaisaient les besoins métiers d’Adeo.
« Looker, avec sa couche sémantique, répondait bien aux attentes de nos utilisateurs SAP, habitués à cette approche », relate Wassim M’Sallem. « Dans un contexte de Data Mesh où l’on doit gérer des agrégats de produits de données, l’approche permet de fournir des données centralisées et certifiées, dans un usage de type self-service », poursuit-il. « De son côté, Power BI répond à des cas d’usage où le time to market est très court. »
BusinessObjects va donc céder la place à Google Looker en tant que principale solution de visualisation de donnée du groupe. Outre l’attrait pour la couche sémantique de Looker, « ce choix s’est fait dans le cadre d’un partenariat stratégique historique avec Adeo sur l’ensemble des produits GCP », précise Dipty Chander, Technical Account Manager chez Google Cloud. « Dans ce partenariat, nous mettons en avant l’aspect “API First”, car beaucoup d’utilisateurs cherchaient une solution ouverte aux solutions externes, un besoin qui nous avait été remonté dès le départ. » En outre, Looker disposait d’un connecteur vers SAP BO.
Un projet de migration XXL
Le choix d’une solution est une chose, mais faire bouger cet existant titanesque en est une autre. Le projet Board Next est lancé afin de migrer les rapports SAP BO vers Looker ou Power BI. « Il s’agissait de la migration des rapports les plus importants et les plus utilisés dans le groupe », souligne Wassim M’Sallem.
Wassim M’SallemProduct Leader Dataviz, Adeo
« Nous avons fait cette migration pour des aspects économiques », ajoute-t-il. Et de préciser que la plateforme est « à la fois vieillissante et coûteuse », ce qui empêchait un accès simplifié aux innovations comme l’IA générative. « La plateforme n’offrait plus la résilience voulue et surtout ce projet allait nous permettre de faire une grande consolidation de nos infrastructures techniques tout en réduisant nos usages à l’essentiel. »
L’objectif fixé était de mener une migration automatique des rapports jusqu’au mois de décembre 2024, puis de donner le temps aux entités métiers de réaliser le change management auprès des utilisateurs, pour un décommissionnement de la plateforme BO en juillet 2025.
La migration s’est déroulée en trois étapes. De septembre 2022 à février 2023, l’équipe projet a identifié tous les usages des rapports dans le groupe. Pour cette tâche, elle s’est appuyée sur l’outil OpenAudit d’Ellipsys. Celui-ci a permis de vérifier quels rapports étaient réellement utilisés. Il a fourni un classement des rapports les plus utilisés par Business Unit, mais aussi a permis d’identifier ceux qui étaient redondants et ceux qui n’étaient plus du tout utilisés.
« Dans la solution, il y a un module axé sur Business Objects. Il va réaliser un inventaire de tous les dashboards présents, mais aussi de tous les événements afin d’établir quels sont les usages réels de ces tableaux de bord », Samuel Morin, CEO d’Ellipsys. « Enfin, il réalise une introspection très fine des rapports afin d’en comprendre les tenants et aboutissants et permettre ainsi leur migration vers une autre solution ». Cette phase a aussi permis à l’équipe Adeo de mener la planification du projet. De fait, il réclame d’impliquer 20 entités métiers à travers le monde.
40 % des rapports n’étaient plus utilisés
La deuxième phase portait sur le nettoyage du patrimoine des 163 000 rapports. Les 40 % de rapports non utilisés doivent être archivés. Or, la complexité réside dans la migration des dashboards les plus exploités. Migrer des dizaines de milliers de rapports nécessitait une automatisation en profondeur du processus. Et pour cause, une migration manuelle, estimée à 6 jours de travail par rapport, rendait le projet prohibitif. La solution OpenAudit est capable de réaliser un data lineage de toutes les données d’un rapport BO. L’idée est donc d’exploiter l’outil pour automatiser le portage vers Looker ou Power BI.
« Une première approche a été de migrer tout un univers Business Objects et le porter tel quel dans Looker sous forme d’un LookML unique », explique Samuel Morin. L’équipe déchante rapidement : les univers BO étant très volumineux, cela générait une forte latence dans Looker. Les experts vont alors commencer à diviser les univers BO par contexte métier. « Les temps de réponse étaient meilleurs, mais la qualité des données était vraiment imparfaite », constate Samuel Morin. « Les deux moteurs ne fonctionnant pas de manière identique, certains résultats de requêtes ne correspondaient pas. »
Une nécessaire refonte des structures de données
L’équipe a dû changer son fusil d’épaule et revoir son approche. « Nous avons récupéré toutes les tables de faits qui sont centrales dans les rapports BO », explique Samuel Morin. « Comme Looker travaille avec des schémas de données en étoile, nous avons retravaillé les structures de données pour charger dans Looker des schémas en étoile très simples ». À partir de là, la plateforme s’est montrée très performante. « Nous avons encore optimisé l’approche en recréant toute l’intelligence des rapports BO en SQL afin de tirer profit de la puissance de BigQuery. Comme cela, nous avons obtenu des temps de réponse qui étaient encore meilleurs que ceux offerts par BO. » Ce sont ainsi 8 000 rapports opérationnels, appartenant à 400 univers BO, dont la migration peut ainsi être industrialisée via l’utilisation de la solution OpenAudit.
Wassim M'SallemProduct Leader Dataviz, ADEO
Néanmoins, cette migration n’est pas totalement automatique. Il faut rigoureusement tester ce que produit l’outil, pour s’assurer que les données présentées dans les rapports Looker correspondent à ce qui est attendu. Une équipe centrale a été mise en place au siège d’Adeo. Elle joue le rôle de chef d’orchestre vis-à-vis des BU qui identifient les rapports à migrer et les remontent auprès de l’équipe centrale. Celle-ci effectue une priorisation.
De son côté, une équipe OpenAudit chez Ellipsys intervient en assistance de maîtrise d’ouvrage. Celle-ci génère le code et réalise un premier niveau de test des rapports engendrés par l’outil. L’équipe centrale vérifie à nouveau les rapports avant de les livrer aux métiers qui, enfin, les valident. « D’un développement spécifique de 6 jours, le délai de portage a pu être ramené à 2 jours pour le portage et les tests », se félicite Wassim M’Sallem. « Le plus complexe, c’est le “dernier kilomètre” : animer les BU afin de mener à bien le décommissionnement de leurs rapports ». Sur les 110 000 rapports BO recensés en septembre 2022, il n’en restait plus que 21 000 à traiter à la fin du mois de septembre. 16 000 vont être archivés, 3 000 ont été migrés vers Looker et 2 000 restent encore à migrer d’ici à la fin de l’année.
« Pour moi, ce projet est une réussite, car il est le fruit d’une collaboration tripartite : Adeo a apporté la priorisation business, la compréhension d’une organisation complexe et l’animation du change management au niveau des BUs. Un projet de migration n’est sans doute pas aussi amusant qu’un projet IA, c’est un projet un peu ingrat, mais néanmoins primordial pour la suite et notre capacité à innover. Nous sommes parvenus à animer les équipes et les BUs pour le mener à bien », conclut Wassim M’Sallem.
Propos recueillis lors de Big Data&AI Paris 2024, en septembre 2024.