Veolia industrialise sa migration vers Amazon Web Services
Depuis maintenant 2 ans, le DSI de Veolia a entrepris la migration de son système d'information dans le Cloud. Ce sont 400 applications qui vont devoir migrer vers Amazon Web Services dans les mois à venir. Parmi les clés de la réussite de ce projet de migration record, l'ordonnanceur Automic One Automation.
C'est sans doute le plus gros chantier de migration dans le Cloud engagé par une entreprise française.
Veolia, ex-Compagnie Générale des Eaux, groupe de 15 000 personnes, compte 6 millions d'usagers dont l'activité est assurée par 400 applications jusqu'ici hébergées sur les 1.200 serveurs répartis entre 18 salles informatiques et un datacenter Equinix.
400 applications hétérogènes qui, d'ici mi-2017, vont devoir fonctionner sur le Cloud d'Amazon Web Services.
« Notre système d'information s'est bâti sur la durée et présente aujourd'hui de gros sujets sur le plan de la pérennité de ces infrastructures et d'évolutivité », résume Benito Diz, DSI de Veolia. En juin 2015, la décision est prise de migrer cet existant vers un datacenter évolutif, totalement virtualisé et hébergé chez Amazon Web Services. « Nous sommes liés avec Amazon avec un lien très haut débit, donc le datacenter Amazon est en quelque sorte une extension de notre propre datacenter » ajoute le DSI.
Une reprise en main d'un parc applicatif vieillissant
Pour opérer une telle migration, le DSI a décidé de "reprendre la main" sur ses applications. Dans un premier temps, l'ensemble du parc applicatif et des flux de données échangées ont été cartographiés. Pour fédérer l'ensemble des échanges entre applications, les architectes ont décidé que tous les flux de données qui iraient dans le Cloud passeraient par un bus ESB.
« Nous avons instauré l'obligation de faire passer l'intégralité des flux par l'ESB. Une application récupérée dans une salle informatique, ou dans notre datacenter principal, et qui monte dans le Cloud est d'une part réinstallée et tous ses flux vont vers l'ESB. C'est ce qui nous apportera de l'agilité demain car quand nous voudrons faire évoluer cette application, seule une partie des flux sera impactée ».
En parallèle, quatre référentiels de données ont été mis en place afin de gérer les contrats, les tiers, l'organisation de l'entreprise ainsi que son patrimoine.
Talend a été sélectionné afin de fournir la plateforme d'intégration de données et l'ESB pivot de l'architecture Veolia sur AWS.
Restait au DSI à trouver un ordonnanceur pour orchestrer les applications sur le Cloud. « En termes d'ordonnancement, nous avions un peu de tout, depuis les scheduler Windows, les fichiers cron de Linux, IBM Tivoli Workload Scheduler, des développements spécifiques, etc. La règle donnée a été de tout reprendre sur un ordonnanceur unique. L'ordonnanceur, c'est le nerf de la guerre et gérer l'évolution de notre système IBM qui n'était pas compatible avec le Cloud ».
Le DSI a donc lancé un appel d'offre dans une démarche pragmatique. « Le but n'était pas de réinventer une usine à gaz mais aboutir à une architecture simple, adaptée et évolutive, qui soit conçue pour le Cloud et la haute-disponibilité et des besoins d'administration et de supervision simples ».
L'appel d'offre a été remporté par Automic avec sa solution One Automation et les outils installés en fin d'année 2015. « Pour l'instant, 10.000 jobs de notre environnement gros systèmes ont pu être migrés, et 70 agents sont installés pour le déploiement effectif prévu mi-décembre, à l'issue d'un processus de migration de 7 mois. Cette migration a été simplifiée par les outils fournis, qui font de l'apprentissage automatique. Plus nous avancions, plus la migration était automatisée et nous avons atteint un taux de 85% de migrations automatiques ; 15% des chaines les plus complexes ont été migrées en automatique puis corrigées en manuel ».
Actuellement, toutes les chaines de traitement IBM ont été migrées, testées et sont prêtes à une mise en production imminente.
Parmi les points clés de cette nouvelle architecture, on trouve la capacité de supervision unifiée de ce datacenter virtuel. « Tout est visible sur l'outil graphique, simple à utiliser et à contrôler. Disposer d'un écran où l'on peut visualiser tous les objets qui sont ordonnancés et tous les workflows constitue un énorme pas en avant en termes de simplification ».
Jusqu'à aujourd'hui, il fallait quatre personnes en permanence qui veillent au bon fonctionnement des applications Veolia. Avec ce nouvel outillage, une seule aura une vision de bout en bout sur les chaines de traitement. Elle pourra identifier tout dysfonctionnement et chercher une solution avec la personne en charge de l'ESB.
Autre gain immédiat apporté par One Automation, la gestion automatisée des instances Amazon Web Service. « L'ordonnanceur gère littéralement notre argent », s'amuse le DSI. « C'est lui qui démarre et qui arrête automatiquement les machines virtuelles lorsqu'il le faut pour ne pas dépenser inutilement de l'argent. Ce volet a été automatisé, de même que celui des sauvegardes et enfin le reporting des usages de cet environnement Cloud ».
La migration des applications s'industrialise
Comme le souligne le DSI de Veolia, la règle habituelle dans une migration vers le Cloud, c'est de tester les infrastructures, puis de placer une première application critique en production avant de migrer en masse.
« Nous avons oublié de passer par la première étape et commencé notre migration directement avec notre application de gestion du temps qui a été mise en production dans le Cloud pour 15.000 personnes. L'éditeur s'était trompé sur le plan du dimensionnement, nous avons augmenté la puissance d'un clic de souris, c'est la grande force du Cloud ».
Ce premier déploiement a été réalisé en mode "manuel" mais les autres applications bénéficieront de l'assistance de la solution Automic qui va exécuter tous les scripts de migration.
« Aujourd'hui, quand on doit préparer une intégration, on confie les scripts à l'ordonnanceur et c'est lui qui se charge de toutes les exécutions. C'est un gain de temps sur toute la chaine ».
Désormais, c'est l'application de gestion clientèle que Veolia va devoir migrer vers le Cloud Amazon Web Services. Un tour de force puisqu'elle est particulièrement critique et qu'elle a été développée en Cobol dans les années 70 sur gros systèmes IBM.
« Le plus gros problème n'est pas de trouver des coboliens mais de trouver ce que l'on appelait des pupitreurs, c'est à dire les exploitants de machines MVS. Les derniers sont en train de partir à la retraite. On n'en trouve pas pour les remplacer. C'est pour cela que nous avons recréé ce système dans le Cloud sous Linux. Nous avons recompilé le Cobol afin de régénérer un système transactionnel par messages sur des technologies modernes et ne surtout pas réécrire de lignes de code en Cobol ».
La migration vers Automic doit être finalisée pour la fin de l'année. Le DSI espère avoir bouclé l'intégralité de la migration des applications mi-2017.
