La Commerzbank crée une plate-forme Hadoop pour servir ses besoins d'analyse de données

L’expérience passée aide au choix de la technologie

Le séjour de Tomak dans la Silicon Valley lui a permis d’acquérir de l’expérience sur certaines technologies que les banques commencent à peine à étudier et à mettre en œuvre.

Par exemple, il a choisi l’environnement open source Hadoop (en l'occurrence la solution d'HortonWorks) pour construire la plate-forme de CommerzBank, en raison de son expérience passée avec la technologie. « Je suis un peu partial en raison de mes antécédents dans la Silicon Valley. J’ai travaillé avec Yahoo qui a créé l’environnement qu'est devenu Hadoop. C’était un système interne à l’époque, mais il a été rendu open source », a-t-il dit.

« Au fil des années, j’ai construit des environnements Hadoop pour d’autres entreprises de la Silicon Valley. »

Mais apporter une telle plate-forme à une entreprise qui opère hors du secteur de la technologie implique des changements dans la façon dont elle est utilisée. À cette fin, la plate-forme centrale de Commerzebank utilise de multiples technologies en plus de Hadoop pour aider les utilisateurs qui ne sont pas des experts techniques.

« Chez Yahoo, le travail était très technique », explique Tomak. « Vous deviez écrire vos propres processus et scripts pour utiliser les données. »

« Il fallait des jours, voire des semaines, pour obtenir une vue unifiée des données ou un rapport dont un supérieur hiérarchique avait besoin. Je cherchais des outils rapides et visuels pour nous permettre de faire les choses beaucoup plus vite qu’en écrivant du code, » dit-il.

Des données affinées

C’est là que le logiciel de Trifacta est entré en jeu. La plate-forme de préparation des données en libre-service permet aux personnes qui comprennent le mieux les données de raffiner les données brutes. La plate-forme fournit une interface utilisateur conviviale et s’appuie sur l’apprentissage machine pour automatiser une grande partie du travail compliqué qui exigeait auparavant du code.

Avec cette plate-forme, les personnes qui comprennent le contexte commercial sont capables de travailler avec des ensembles de données volumineux et complexes et de combiner et structurer l’information.

Il est essentiel que le système puisse être utilisé par des non-experts, car il y a un large éventail d’utilisateurs potentiels. La plate-forme est ainsi conçue pour être utilisée par des profils techniques tels que des ingénieurs ou des spécialistes de la donnée, mais aussi par des non-spécialistes comme des analystes métiers, des responsables de la conformité et des risques ou d’enquêteurs sur les fraudes.

La plate-forme de données Commerzbank offre un accès en libre-service pour tous les départements de la banque. « Nous nous efforçons d’amener les gens de l’ensemble de la banque à utiliser la plate-forme centrale pour recueillir les informations dont ils ont besoin », a déclaré Tomak. 

Le défi des compétences

Bâtir une telle plate-forme pose toutefois un défi de taille en matière de compétences lorsqu’il s’agit de trouver le bon personnel pour répondre aux exigences de l’équipe de Tomak. Il y a actuellement environ 50 personnes dans l’équipe, mais ce nombre passera à 100 d’ici la fin de l’année.

Ce n’est pas facile, car le profil du candidat idéal est en train de changer. « Les compétences sont en train de passer de compétences de codage pur à une véritable compréhension du contexte métier de l’entreprise », explique Tomak. « Si vous voulez vraiment résoudre un problème métier, vous devez comprendre le contexte métier aussi bien que les données. »

« Ce sont les compétences que je recherche maintenant. Mais les obtenir est toujours difficile parce que toutes les industries recherchent ce type de profils », dit-il. 

Une plate-forme qui va continuer à s'enrichir 

Bien que beaucoup de choses aient déjà été réalisées grâce à la plate-forme centralisée, le but est d’étendre son usage à l’ensemble de la banque.

 « L’environnement est opérationnel, nous avons collecté environ 150 téraoctets de données, nous avons Trifacta dans l’environnement pour nous aider à vérifier la qualité des données et pour délivrer des scénarios métiers comme l’audit et la détection des fraudes, mais d’autres scénarios sont à venir », a déclaré Tomak.

La plate-forme va continuer à s’enrichir avec des données collectées depuis les différents métiers de la bande. L’un des objectifs est aussi d’harmoniser ces données, de continuer à créer plus d’automatisation et de développer un moteur au-dessus du lac de données en utilisant des outils pour rationaliser le traitement des données et en faciliter l’interprétation.