Comment Orange mise sur l’analyse prédictive pour son scoring

Connaître les abonnés de Free et SFR grâce aux algorithmes prédictifs

Outre ces études réalisées pour le marketing qui permettent d’améliorer le ROI des campagnes publicitaires, l’équipe de Claude Riwan, qui compte 5 personnes, modélise des algorithmes afin d’évaluer des données qui ne sont pas dans les bases de données d’Orange. Ainsi, pour évaluer le taux d’équipement en multimédia chez les abonnés Free ou SFR, les algorithmes vont s’appuyer sur les données collectées auprès des abonnés Orange sur la base d’une enquête.

« A partir des données de nos abonnés, on sait modéliser leur taux d’équipement. On applique alors le modèle mis au point sur la base des enquêtes menées auprès de nos abonnés et on le généralise aux abonnés de nos concurrents. Cela permet d’estimer des descriptifs de foyers, l’équipement du foyer, etc. »

L’équipe scoring d’Orange exécute chaque mois plus de 400 formules de score récurrentes sur la base des 20 millions de clients de l’opérateur, soit 1,6 milliard de notes qui sont calculées chaque mois. Ces scores sont réalisés sur les 7 univers clients sur lesquels Orange est présent : Internet, la fibre, le quadruple play, le mobile, le fixe, les prospects et les foyers français.

« A côté de ces scores prédictifs mensuels, nous disposons de 500 autres modèles que nous recalculons en moyenne de manière semestrielle. Un rythme plus lent car soit les données sont plus rares, soit parce que ce sont des estimations qui sont relativement stables dans le temps, comme par exemple estimer la présence d’un enfant de 8 à 12 ans dans le foyer. Inutile de faire tourner un tel modèle tous les mois. »

Ces 500 modèles servent à Orange à mieux qualifier sa base de données à partir d’enquêtes, de sondages ou des centres d’intérêts de ses abonnés. Quels sont les clients intéressés par telles chaînes à la TV, ou quels types de programmes TV - pour ceux qui ont autorisé l’usage de leur historique.

Les 4 usages du prédictif chez Orange France

Sans surprise, le marketing direct est le premier consommateur de scoring chez Orange France, que ce soit pour le télémarketing, les campagnes d’emailing, le courrier et les SMS. Claude Riwan donne un exemple de scores calculés en 2014 pour optimiser les campagnes de marketing direct de l’opérateur : « pour notre activité Broadband, nous avons calculé des scores de fragilité, des scores d’appétence aux bouquets TV, à la VOD, à la montée en gamme, etc. 70 scores ont été utilisés de manière proactive, soit dans une campagne sur 10. Il faut bien garder en tête que s’il n’est pas nécessaire d’optimiser une campagne, il n’est pas impératif de s’appuyer sur un score ; une extraction multicritère peut suffire. C’est lorsqu’on veut optimiser une campagne d’un point de vue budgétaire qu’il faut prioriser. »

Un deuxième cas d’usage de score calculés par Claude Riwan concerne le traitement des appels entrants des clients aux call-centers de l’opérateur.

« Pour toutes les catégories de clients, si par exemple un client a été scoré fragile, c’est-à-dire qu’il y a un risque qu’il résilie son abonnement, et s’il appelle notre service client au 10 14 à partir de ce numéro, il est rerouté non pas vers le service client « classique », mais vers une cellule de rétention qui dispose de marges de manœuvre commerciales afin d’essayer de le retenir. »

Outre cette catégorisation des appels, les scores permettent aux opérateurs de pousser des offres auprès des clients qui appellent les call-centers ou lorsqu’ils passent en boutique Orange, mais aussi maintenant sur l’écran de la Smart TV de l’abonné Broadband. Un espace publicitaire très intéressant, notamment pour proposer des vidéos et des programmes TV.

Claude Riwan précise : « Orange ne met pas à disposition et ne commercialise pas les données d’usage des clients sans leur consentement éclairé. Les données d’abonnement, de facture, oui, mais savoir qu’un client téléphone de telle façon ou regarde tel ou tel type de programmes, ce n’est utilisé dans les scores que si le client nous y a expressément autorisé. »

Les étapes de la vie d’un score

Un modèle prédictif a une durée de vie pendant laquelle il est performant. Puis, au bout de quelques temps, parce que le marché a changé, parce que de nouveaux produits et de nouvelles habitudes sont apparus, celui-ci se montre moins pertinent. Encore faut-il pouvoir s’en rendre compte avant de dépenser des budgets sur de mauvaises cibles.

Un back-testing industrialisé, tous les mois, sur l’ensemble de ses modèles prédictifs

« Il y a beaucoup d’informations dont on ne dispose pas dans notre base client. Par exemple, on ne sait pas si un concurrent vient de lancer une grande campagne de spot TV ou d’affichage, on ne sait pas s’il a modifié sa base tarifaire. Donc quel est le meilleur moyen de savoir si l’outil qui exploite les variables dont je dispose est toujours pertinent ? La meilleure façon de le savoir, c’est faire du back-testing, c’est-à-dire regarder si les performances du modèle lors de la dernière période ont été conformes à ce que le modèle avait prédit. Si c’est le cas, cela signifie que le score fonctionne toujours ; si ce n’est plus le cas, il faut reconstruire un nouveau score. ».

L’équipe scoring d’Orange  réalise ce processus de back-testing tous les mois sur l’ensemble de ses modèles prédictifs : « C’est un cycle que l’on a complètement industrialisé aujourd’hui. On dispose de ces résultats de back-testing chaque mois en une dizaine de minutes seulement pour plusieurs centaines de modèles. »

Outre cette surveillance constante de l’efficacité de ses modèles, Claude Riwan a adopté plusieurs stratégies afin d’en améliorer l’efficacité.

Sous-profils et Uplifting (A/B Testing)

La première recette appliquée est la création de sous-profils.

« Dans la pratique, nous nous sommes aperçus que, dans 19 cas sur 20, les clients n’entraient pas dans un profil « moyen » mais correspondent plutôt à des sous-profils. Pour prendre un exemple simple, les clients que nous estimons « fragiles », c’est à dire ceux qui sont susceptibles de nous quitter, ont principalement 2 raisons pour le faire : soit des problèmes techniques, soit ils estiment payer trop cher par rapport à leur usage. Sur ces deux premières catégories, une fois qu’ils ont été identifiés comme client fragile, la posture commerciale ne doit pas être la même. Inutile de proposer une remise à quelqu’un qui connait des problèmes techniques. Nous réalisons ce que l’on appelle une clustérisation des scores pour dégager ces sous-profils. »

Le deuxième axe d’amélioration des modèles prédictifs mis en œuvre par Orange est ce que l’on appelle les méthodes d’uplift.

Modéliser l’appétence d’un client pour un produit se fonde sur le profil des clients qui ont souscrit à ce produit récemment. Le score permet de constituer un échantillon témoin de clients qui sont appétents, mais qui sont volontairement écartés de la campagne. La campagne est lancée sur les autres clients appétents et, en fonction des résultats commerciaux obtenus par cette campagne, son efficacité est évaluée par rapport à l’échantillon de gens qui n’ont pas été sollicités.

« En règle générale, on s’aperçoit que ce sont bien les gens appétents qui souscrivent au produit, mais, parfois, la campagne n’apporte pas beaucoup plus, par rapport à l’échantillon test où certains sont allés souscrire au service d’eux-mêmes. Pour concentrer nos moyens commerciaux là où ils sont réellement utiles, ne sont inclus à la campagne que les clients pour lesquels c’est la sollicitation qui permettra de réaliser la vente. »

Passer d’une architecture « Small Data » vers une approche véritablement « Big Data »

Actuellement, les modèles créés par l’équipe de Claude Riwan exploitent un nombre relativement limité de variables, généralement quelques dizaines. A chaque modélisation, plus de 20 000 agrégats sont calculés par modèle.

A l’heure actuelle, les calculs sont réalisés sur un serveur relativement modeste, avec un seul cœur de calcul. Il s’agit d’une architecture « Small Data » en train de migrer vers une architecture plus puissante qui repose sur l’architecture Map/Reduce développée par Orange Lab.

Passer de 20 000 agrégats par modèle à 320 000... et demain plusieurs millions

« Avec la société PredicSis, nous sommes en train de déployer un système capable de tester non plus 20 000 agrégats par modèle, mais 320 000. Pour y parvenir dans des temps acceptables, c’est-à-dire réaliser un calcul de scoring en moins d’une demi-heure, nous allons distribuer les calculs sur 32 cœurs de calcul. Le temps de modélisation sera le même, mais le nombre de variables explicatives explorées sera bien plus important. »

Cette montée en puissance de l’architecture informatique va avoir des conséquences très directes sur les données à partir desquelles les scores d’Orange sont élaborés. « Jusqu’à il y a peu, les données utilisables par le marketing étaient les données commerciales. Maintenant, nous pouvons récupérer des données d’usage beaucoup plus fines, comme les logs lorsque le client nous y autorise, les déplacements entre balises du réseau mobile, les données techniques de fonctionnement du réseau qui peuvent expliquer les insatisfactions des clients, etc. Toutes ces données sont aujourd’hui disponibles, la difficulté étant d’estimer leur vraie valeur … »

Une phase 3 est déjà envisagée ou ce ne seront plus quelques centaines de milliers d’agrégats qui seront calculés pour chaque modèle, mais plusieurs millions de façon distribuée.

« Ce qui est intéressant c'est que nous pourrons le faire "à la volée". Si je prends l’exemple de données d’interaction avec le client, jusqu’à aujourd’hui nous construisions des agrégats « en dur »  à partir du nombre de contacts total par canal, nombre de contacts par jour, etc. Les analystes devaient penser aux agrégats à tester dans les données. En phase trois, nous attaquerons « à la volée » et en mode multi-tables, avec la table des interactions et ses attributs directement accessibles. Nous pourrons donc tester des choses bien plus évoluées et faire apparaitre par exemple l’efficacité du contact téléphonique réalisé le mercredi après-midi, un jour particulier dans la semaine d’un point de vue Business, sans avoir à penser à l’avance aux agrégats. Le Big Data va être pour nous un moyen d’améliorer nos modèles prédictifs en trouvant les bonnes variables et les bons agrégats dans les données. »

Alors qu’Orange France est plus que jamais sous la pression de la concurrence sur tous ses marchés, l’opérateur muscle donc fortement sa stratégie Big Data et mise sur l’industrialisation de ses algorithmes prédictifs pour tenter de garder à distance ses concurrents.