Eminence mise sur la transparence des algorithmes

Une plateforme ad-hoc développée dans le cadre d'un partenariat

Mathieu Hille a rencontré plusieurs éditeurs proposant des outils d'analyse prédictive sur le secteur de la mode. Il a jugé leurs outils peu adaptés à la commercialisation en grande masse. Si bien que le responsable s'est tourné vers Twin Solutions, un partenaire historique de l'entreprise qui avait déjà déployé la plateforme décisionnelle SAP BusinessObjects et mené quelques développements internes pour Eminence.

« Twin Solutions nous a fait part de leur volonté de développer leurs activités dans le prédictif. Nous avons jugé intéressant de nous associer à leur montée en puissance dans ce domaine afin de disposer d'un outil bien adapté à notre besoin ».

Deux Data Scientists ont été embauché par l'ESN pour développer cette activité et travailler sur les modèles prédictifs d'Eminence. L'un d'eux, Romain Chailan décrit ainsi sa vision du projet : « notre démarche fut assez simple. Nous avons récupéré les données d'Eminence, mis en place des jeux de test, élaboré des modèles, puis testé leur efficacité. C'est ainsi que nous avons construit petit à petit une solution et bâti un véritable progiciel taillé pour répondre aux besoins - que nous avons mis en place avec le soutien des équipes de développement de Twin Solutions.»

L'équipe projet a fait le choix de s'appuyer sur SAP Predictive Analytics d'une part et sur de nombreuses briques Open Source d'autre part, notamment les langages R et Python.

Le renouvellement rapide des collections, un problème pour le Big Data

Assez classiquement, les données sont des séries temporelles avec une structure hiérarchique correspondant aux références, magasins, clients. « Le souhait d'Eminence était de pouvoir générer des vues à tous les niveaux de cette hiérarchie » précise Romain Chailan. « L'autre particularité du cas Eminence, c'est que les références évoluent au cours du temps. Il est donc plus compliqué à modéliser un historique des données. Il nous faut nous appuyer sur la connaissance métier pour pallier cela. Sur l'interface, les experts métiers peuvent saisir des "a priori" qui seront exploités par nos modèles pour prédire ce qui va se passer dans le futur. »

En effet, Eminence renouvelle chaque année environ 60% de ses collections. Il faut donc s'appuyer sur les données de ventes d'anciens modèles pour estimer celles des nouveaux.

« L'outil nous permet d'introduire des critères, notamment lorsqu'un nouveau produit vient en remplacement d'un modèle ancien » confirme Mathieu Hille. « Nous faisons ce qu'on appelle un chaînage ; les performances de ce produit seront quasiment similaires à celles de tel ancien produit. Par contre, nous avons souhaité bénéficier d'une approche plus évolutive. Nous avons créé trois groupes de produits en fonction de la performance qu'ils auront dans la collection : les incontournables (les 20% de références qui représentent 80% de nos ventes), le "gros du catalogue" et enfin les produits images.»

Dans le cadre du projet, les Data Scientists ont pu travailler sur des données de ventes remontant jusqu'à 2013.

Un back testing prédictif des modèles réalisé chaque mois

Pour Romain Chailan, le plus complexe dans un tel projet réside dans la phase d'industrialisation des modèles.

« Très souvent, en démonstration, les données sont bien préparées dans un scénario idéalisé. Dans la réalité, tant que l'on travaille en DataLab avec des jeux de données, tout fonctionne généralement bien. En revanche, passer en phase d'industrialisation est une tout autre affaire. Il faut récupérer et retravailler les données et créer 500 à 600 modèles qui vont tourner en parallèle. C'est complexe à gérer. »

Le développement de la plateforme est mené en méthodes agiles, avec des itérations courtes. La même approche est appliquée dans l'élaboration des modèles prédictifs. « Tous les mois une version des modèles est figée et on évalue les résultats obtenus. On effectue un suivi sur la qualité des données, et sur celle de ce qui est restitué par les modèles. Nous avons intégré à la solution un outil de back-testing pour vérifier que le modèle garde sa pertinence par rapport à la réalité ».

La performance des modèles est donc surveillée en permanence pour ne pas laisser d'écarts s'instaurer entre les prévisions et la réalité du marché.

Eminence a imposé une visibilité sur les algorithmes

Mieux, Mathieu Hille a demandé aux Data Scientists d'avoir une visibilité sur les algorithmes et sur les paramètres qui entrent en jeu dans chaque calcul de prévision.

« Nous ne voulions pas de boîte noire, c'est-à-dire ne pas connaître les critères pris en compte et comment l'algorithme parvenait à son résultat. Nous voulions connaître le facteur qui jouait le plus dans chaque décision ».

« Chez Twin Solutions, nous cherchons à être pédagogue afin d'aider nos clients à comprendre les modèles qui sont mis en place, démystifier la Data Science. L'approche boîte noire c'est bien lorsque ça marche, mais beaucoup moins si les résultats attendus ne sont pas là », renchérit Romain Chailan.

Pour Eminence, les Data Scientists n'ont pas eu recours au Deep Learning, un algorithme dont il est encore complexe d'expliquer le fonctionnement. Pour Romain Chailan, « les résultats obtenus par Deep Learning étaient en plus moins bons que ceux que nous obtenons avec les algorithmes actuels. Cela fonctionne très bien lorsqu'on dispose de millions voire des milliards d'enregistrements, ce qui n'est pas le cas sur ce projet. Même s'il commence à apparaitre des techniques qui expliquent le fonctionnement d'un réseau de neurones, nous n'aurions pas pu être aussi transparents en utilisant le Deep Learning ».

Des premiers gains en termes de productivité

Paradoxalement, disposer de cette visibilité sur les algorithmes ainsi que de cette capacité de faire du back-testing a permis à Mathieu Hille de vérifier que les calculs prédictifs réalisés jusqu'alors étaient plutôt pertinents.

« Suite au déploiement de la plateforme, nous avons constaté que les résultats que nous obtenions auparavant et ceux de notre nouvel outil étaient finalement très proches. Nous étions donc aussi bons que l'outil prédictif mis en place ! L'écart entre le prédictif et le réel n'est pas énorme et les résultats que nous obtenons sont tout à fait satisfaisants ».

La plateforme n'a donc pas révolutionné la performance de l'entreprise en termes de prévisions de vente, mais son impact a été très direct quant à l'élaboration des prévisions. « Une simulation budgétaire nous demandait jusqu'à présent 5 jours à 2 personnes. Aujourd'hui, il ne nous faut plus que quelques heures. Ce gain de temps a pu être mis à profit par les analyses qui peuvent mieux entrer dans les détails, délivrer des objectifs bien plus précis aux commerciaux, générer des statistiques pour les chefs de produit, mesurer l'incidence des promotions sur un fond de rayon, etc. ».

Pour l'heure, seuls les contrôleurs de gestion commerciale ont accès à l'outil. Dans un deuxième temps un reporting SAP BusinessObjects s'appuyant sur les données de la plateforme sera mis en place pour les commerciaux et des équipes marketing.

Le premier modèle prédictif - la simulation des ventes à 12/18 mois - a été recetté, tandis qu'Eminence s'apprête à réceptionner son modèle d'analyse prédictive sur la saison, un modèle plus complexe car il permettra à la marque de descendre au niveau le plus fin, c'est à dire celui de la référence/coloris.

Parmi les prochaines étapes figure également l'intégration de données externes comme les données de vente (collectées par les distributeurs), les sorties caisse ainsi que des données de performances des promotions chez les enseignes.