IBM

Actualites

Syncsort relie les mainframes IBM à Spark

En créant une passerelle entre les deux mondes, Syncsort continue sa stratégie de modernisation des mainframes vers le Big Data. Les données mainframes IBM pourront être traitées dans Spark, sans avoir à les décharger.

Cyrille Chausson
par
Publié le: 03 sept. 2015

Syncsort a décidé de poursuivre sa croisade : relier le monde historique et legacy des mainframes avec le monde résolument moderne du Big Data et des applications associées. Le spécialiste des gros systèmes et de l’intégration a annoncé avoir développé un connecteur Open Source reliant les mainframes Systems Z d’IBM à la dernière coqueluche du traitement des données : Spark.

Gross modo, ce connecteur permet de décharger les données du mainframe vers Spark afin que celles-ci puissent d’abord bénéficier des capacités analytiques de la solution – traitements en temps réel des flux de données, accélération des traitements via le In-Memory et Machine Learning –, mais également qu’elles se retrouvent désormais associer à l’équation analytique et décisionnelle de l’entreprise.

Les mainframes sont encore légion dans les secteurs très critiques de la banque et des services financiers par exemple. S’ils disposent certes de technologies legacy peu souples, ils doivent aussi assurer une transition de leur modèle vers le numérique et avoir recours à des technologies modernes pour mettre en place de nouveaux services. Les banques exploitent finement l’analytique et le traitement des données en temps réel des données dans le cadre de la détection de fraudes par exemple. Autre cas d’usage, préparer ses gros systèmes à la secousse promise en matière de volumétrie des données apportées par le très tendance Internet des objets et réseau de capteurs.

Connecter les mainframes IBM à Spark adresse logiquement ces cas d’usage. Dans le détail, cette contribution sera versée dans la communauté Spark par le biais de la société Databricks, premier contributeur et fondateur de Spark. Le connecteur de Syncsort sera accessible via le programme Spark Packages, un dépôt central d’add-on à Spark qui vient augmenter la solution.

Le connecteur permet donc d’opérer des analyses temps réel sur des données des mainframes IBM. La technologie automatise le transfert des jeux de données des gros systèmes vers Spark, et ce dans le modèle de données (DataFrame) de ce dernier. Syncsort confirme que ce transfert est sécurisé. L’utilisateur doit juste indiquer l’emplacement des jeux de données et des meta-données COBOL. Au final - et c’est un point clé -, l’utilisateur peut associer ces données à d’autres – l’un des intérêts du Big Data - et effectuer des requêtes SQL via Spark SQL. De plus, les capacités In-Memory de Spark permettent d’interroger les données du mainframe sans avoir à  les  offloader. Accélérant ainsi  leur traitement. Selon Syncsort, le connecteur est conforme aux spécifications Data Source API de Spark.

Syncsort et IBM veulent moderniser le mainframe

La contribution de ce nouveau connecteur à l’Open Source n’est pas une première pour Syncsort. Cela s’inscrit dans un plan plus global qui vise à positionner ce cadre du mainframe et de l’ETL sur le segment très couru du Big Data. La société avait par exemple racheté la société Circle Computer Group, un spécialiste de la migration d’applications mainframe vers Hadoop, complétant des outils internes de migration de données.

Dans cette logique, Syncsort a également établi des liens étroits avec les communautés Open Source qui rythment le Big Data. La société a par exemple contribué un patch pour remplacer le moteur de tri par défaut d’Hadoop. Plus récemment, Syncsort a développé un connecteur pour relier les données de mainframe IBM à Squoop, pour faciliter l’importation et les transformations des données vers Hadoop.

Enfin, rappelons qu’IBM tente aussi de convertir ses mainframes aux applications modernes. A la mi-août, Big Blue a annoncé une série de mainframes tournant exclusivement sur Linux, l’OS aujourd’hui à la base des applications modernes. Le connecteur de Syncsort s’inscrit aussi dans cette logique.

Terminons enfin en rappelant qu’IBM a aussi décidé de rallier la cause Spark en annonçant intégrer la technologie à ses outils analytiques, en créant un Spark Technology Center et en y dédiant 3 500 ingénieurs. Cette contribution d’IBM passe aussi par la mise à l’Open Source de SystemML, la bibliothèque de Machine Learning du groupe. Des travaux seront effectués avec Databricks pour développer les fonctions de Machine Learning de Spark. Pour IBM, il s’agit ici de « se rapprocher de la communauté pour en accélérer les développements », nous avait expliqué Anita Curtys, directrice des offres analytiques chez IBM France.

Pour approfondir sur Mainframes