BI : pourquoi Monoprix migre vers un data warehouse cloud
Monoprix arrivait à la limite de son entrepôt de données sur site. Afin de développer les possibilités de Business Intelligence. Le distributeur passe dans le cloud et change de fournisseur.
Tous les lundis matin, les responsables de Monoprix appliquent la même procédure. Une routine. Chacun d’entre eux veut connaître les résultats des ventes de la semaine passée. Avec les années, ces tâches de Business Intelligence prennent de plus en plus de temps. De quoi contrarier les équipes du spécialiste du commerce et de la distribution.
Cela peut se comprendre. Monoprix dispose de plus de 700 magasins en France. Plus de 800 000 clients font leur course tous les jours. Le groupe représente 5 milliards d’euros d’activité par an. Il y a donc un véritable enjeu à produire ces rapports de manière hebdomadaire.
La DSI a la réponse à ce problème : les machines allouées aux Data warehouse Teradata et installées dans le centre de données du groupe Casino, la société mère, supportent difficilement la montée en charge. Le grand nombre d’utilisateurs et les analyses sont de plus en plus demandeurs en ressources. Pour Damien Pichot, directeur des flux, et Benoît Grimaud responsable de la BI chez Monoprix, il faut mettre un terme à ce goulet d’étranglement. L’infrastructure analytique n’est plus adaptée au besoin de la société.
Ces traitements longs peuvent prendre jusqu’à plusieurs heures le lundi matin, alors que la même opération dure 10 à 15 minutes en milieu d’après-midi. « Nous n’avons pas de moyen d’en prédire la durée », précise Damien Pichot.
Les deux collaborateurs ont d’abord envisagé de racheter des machines allouées à leur data warehouse Teradata. Ils devaient le faire l’année prochaine. Cependant, le directeur des flux considère que « c’est une course sans fin ». « Nous avons atteint la limite de l’exercice », ajoute-t-il.
Un data warehouse cloud, une pierre deux coups pour Monoprix
De plus, l’entreprise dispose d’un Data Lake dédié aux données non structurées. La DSI a donc envisagé de rassembler les deux architectures au sein d’un entrepôt de données cloud. Les objectifs : gagner en performance, réduire les délais d’attente, faciliter les analyses plus profondes, rendre possible le partage de données (data sharing), et satisfaire les besoins des équipes en matière de machine learning. Par ailleurs, la DSI cherchait à mettre en place une infrastructure durable, avec laquelle la mise à l’échelle ne demande pas d’ajustements au niveau de l’architecture.
Benoît Grimaud a rapidement proposé Snowflake. Il suivait le projet depuis son lancement, alors qu’il n’occupait pas encore ce poste. Le fournisseur vend sa solution comme un « data warehouse cloud as a service ». Le client n’a pas de machine à allouer. Il n’a pas à installer de logiciel et la maintenance ne lui incombe pas.
Avant de commencer un POC, l’enseigne a commandé une étude comparative. Les deux responsables sont passés par un prestataire externe chargé d’évaluer les avantages du service de Snowflake et de celui de Google Cloud Platform : BigQuery.
Le cabinet indépendant a observé les capacités de ces outils en testant trois cas d’usage particuliers sur une durée d’un mois. Selon l’analyse factuelle réalisée à partir d’un cahier des charges bien précis, Snowflake a remporté la partie. Le fournisseur semblait répondre aux attentes de Monoprix.
La DSI a donc lancé un POC à la fin de l’année 2018. L’équipe a observé les coûts d’utilisation, la stabilité et la durée des requêtes, le déroulé de la montée en charge, ainsi que l’effort de migration requis.
De fait, Monoprix souhaitait transférer sa base de données SQL sans la modifier. Contrairement à BigQuery, Snowflake utilise le même référentiel que celui de Teradata. « C’était un aspect important que nous avons observé au moment de l’essai. Comme Snowflake utilise une technologie connue de nos équipes, il n’y a pas eu besoin de formation particulière. Ce n’est que dans le cadre de la migration que nous sommes en train de mettre en place un suivi des connaissances, mais elle est simple à prendre en main pour nos équipes », assure Benoît Grimaud. « Finalement, c’est le chargement des données qui nous a demandé de la préparation », ajoute-t-il.
« Après cet essai terminé en décembre 2018, nous avons pris notre décision et effectué un appel d’offres pour trouver un prestataire qui nous aide à intégrer toutes les extractions, les scripts et les requêtes. C’est Keyrus qui a été retenu », déclare Damien Pichot.
« Nous voulions une structure qui ait les ressources nécessaires pour nous accompagner le temps de la migration, environ un an. Nous avons commencé notre déploiement à partir de fin mars – début avril. L’opération doit être terminée à la fin novembre – début décembre. La solution doit être en production à partir du mois de février 2020. Ce sont les objectifs confiés à Keyrus », assure le responsable.
« Les jeunes éditeurs ne vont pas aller investir dans les connecteurs correspondants, parce que ce n’est plus l’avenir. C’est ce qui a été le plus pénalisant lors du démarrage du projet. »
Benoît GrimaudDirecteur de la Business Intelligence, Monoprix
Des difficultés insoupçonnées
Toutefois, la mise en place de l’entrepôt de données ne se fait pas sans heurt. Damien Pichot explique : « Là où l’on pensait avoir des difficultés en ce qui concerne la migration, nous n’en avons pas eu pour l’instant. Les tests des premières tables livrées s’avèrent rassurants. En revanche, nous sommes rattrapés par notre dette technique. Dans un cas d’intégration d’un entrepôt de nouvelle génération comme celui-ci, nos problématiques de dette technologique ressurgissent. Typiquement, notre connecteur ODBC Informatica, qui fonctionne chez nous sous AX ne fonctionne pas au sein du data warehouse Snowflake ».
« Il y a deux sujets qui rentrent en collision. L’un correspond au fait que la technologie Snowflake est assez récente et ne rassemble pas tous les connecteurs disponibles à date. L’autre, c’est que notre infrastructure legacy sous forme de plateforme s’avère quasiment obsolète et peu interopérable. Les jeunes éditeurs ne vont pas aller investir dans les connecteurs correspondants, parce que ce n’est plus l’avenir. C’est ce qui a été le plus pénalisant lors du démarrage du projet », déplore Benoît Grimaud.
De même, les responsables ont dû orchestrer la montée de version de l’application Microstrategy pour avoir accès à certaines fonctionnalités, notamment Intelligent Cube dans le cloud. Le responsable de la BI détaille cette décision : « Notre version de Microstrategy datait de 2012, date à laquelle Snowflake n’existait pas encore. Pour assurer une compatibilité de Microstrategy avec Snowflake, nous avons été obligés d’anticiper un investissement prévu initialement au cours de l’année 2020 ».
Le temps a fait son œuvre. « Aucun distributeur français n’a vraiment appuyé sur le bouton de la migration dans le cloud parce que notre existant est à peu de chose près dans le même état » soupçonne Damien Pichot.
« Aucun distributeur français n’a vraiment appuyé sur le bouton de la migration dans le cloud parce que notre existant est à peu de chose près dans le même état. »
Damien PichotResponsable des flux, Monoprix
Des attentes fortes
Dans le cadre de la migration du Data warehouse Teradata vers celui de Snowflake, Monoprix a commandé plusieurs lots. L’un d’entre eux concerne la BI Finance. Ainsi, l’équipe a pu constater les premiers gains apportés par la solution.
« L’import de données et la vitesse d’exécution s’avèrent beaucoup plus performants que sur Teradata. La seule limite de l’exercice, c’est la charge associée, puisque nous n’avons pas encore un grand nombre d’utilisateurs, mais nous ne sommes pas très inquiets. La solution est pensée pour assurer les montées en charge », d’après Benoît Grimaud.
Pour cela, Snowflake a pensé son offre en proposant des clusters, des instances de calcul dédiées. Un entrepôt composé d’un cluster correspond à la dénomination XS, tandis que celui nommé XL en contient 16. L’éditeur propose jusqu’à 128 grappes dans un warehouse.
« Ce qui est très intéressant pour nous, c’est que le lundi matin, lors de l’établissement de rapports BI pour la semaine écoulée, si nous avons un goulet d’étranglement nous sommes capables pendant deux heures, par exemple, d’être sur le maximum de la puissance allouée par Snowflake et ensuite de repasser sur des clusters XS ou M. C’est là que le ROI va se faire ».
En contrepartie, les utilisateurs pourraient surcharger les instances avec de nouvelles utilisations plus gourmandes en ressource, ce qui pourrait entraîner des surcoûts. Ce n’est pas pénalisant, il s’agit même du « but ultime » du responsable des flux. « Au cœur de ce projet-là, il y a les besoins des utilisateurs. Le coût sera plus faible, voire équivalent pour une satisfaction des métiers beaucoup plus importante », selon le responsable des flux chez Monoprix.
Le partage de données comme avantage concurrentiel
Cette transformation des usages passe également par le partage de données. En effet, Monoprix fait appel à des prestataires externes pour analyser la segmentation afin de cibler les clients les plus fidèles. Ces données, une fois traitées, servent à alimenter tous les mois Adobe Campaign et le CRM du groupe. « La préparation de ces milliers de fichiers demande tellement de temps que nous le faisions qu’une fois par mois. Nous nous sommes aperçus que nous allons pouvoir le faire une fois par semaine. Nos équipes n’auront plus à préparer les données, les prestataires se connecteront directement à notre data warehouse pour traiter les informations les plus pertinentes plus rapidement. Nous contribuons dans la transformation digitale à mieux personnaliser nos promotions », envisage le responsable des flux.
« La DSI n’est plus un frein puisque les données sont disponibles le jour même pour le partenaire externe. Chez Snowflake, les mécaniques de sécurisation, d’autorisation et d’authentification à mettre en œuvre facilitent ce cas d’usage que nous avons testé avec notre plus gros partenaire. Avant, il fallait extraire les données, les rendre anonymes, les protéger avec des mécanismes complexes qui prennent beaucoup de temps. Nous faisions des analyses trimestrielles, nous allons pouvoir obtenir des résultats quotidiens ou à la semaine », considère Benoît Grimaud.
Les annonces faites à Londres par le fournisseur lors de la première semaine d’octobre vont en ce sens. D’ailleurs, il a une bonne réputation auprès des acteurs de la grande distribution. Oney Data, la filiale d’Auchan spécialisée dans l’analyse de données a elle aussi adopté l’entrepôt de données « as a service ».
