Talend embrasse Hadoop, pour le démocratiser

Microsoft, Teradata... et Talend. La liste des supporters de la coqueluche Open Source du Big Data, Hadoop, s’allonge au fur et à mesure des semaines. Cette fois-ci, le spécialiste de l’intégration de données Open Source Talend a décidé de sauter le pas et de rapprocher le framework Java de la fondation Apache de son outil d’ETL (Extract, Transform, Load; les 3 piliers de l’intégration de données), pour embrasser le monde très tendance du Big Data. A la clé, Talend Open Studio for Big Data , une spécialisation du moteur ETL du groupe, adapté à ce segment de marché, ainsi que son intégration au sein de la distribution Hadoop développé par Hortonworks, Hortonworks Data Platform.

Cette adaptation du moteur historique d’ETL de Talend vient ainsi répondre à une problématique clé du Big Data, résume alors Fabrice Bonan, le patron de la R&D de l’éditeur : celui de démocratiser un monde aujourd’hui très et trop complexe, et qui freine ainsi l’expansion des technologies associées dans les entreprises. Fidèle à ses objectifs, donc, la démocratisation de technologie formant le motto de Talend qui s’est notamment fixé pour mission d’intégrer des composants d’ETL, d’ESB, de MDM et BPM dans une plate-forme unifiée, également pour «démocratiser».

Il faut ajouter que la complexité du framework Hadoop, ainsi que l’absence de compétences ont souvent été pointées du doigt dans le monde du Big Data. Quitte alors à freiner les développements. Un point sur lequel s’accordait par ailleurs James Markarian, vice président exécutif et directeur technique d'Informatica, qui évoquait une pénurie de développeurs sur le marché.

Alors évidemment, l’heure est à faire tomber les barrières à l'entrée et à rendre comestible cet Hadoop dont tout le monde parle aux responsables IT des données, avant de voir arriver au sein des entreprises le très attendu «Data Scientist». C’est certainement en partie cela qui a poussé VMware à greffer Hadoop à son éco-système de développement Java Spring, dans son offre - également annoncée la semaine dernière - Spring Hadoop.

Une couche d’abstraction entre designer Hadoop et MapReduce

Avec Open Studio for Big Data, et son édition commerciale Talend Enterprise Data Integration for Big Data - qui proposera des outils de collaboration, de scheduling et de déploiement, notamment -, Talend entend proposer des connecteurs à son outil d’ETL reliant le monde traditionnel des bases de données ou des entrepôts de données au monde Hadoop. La technologie supporte ainsi le système de fichiers Hadoop (HDFS), Hive (pour le requêtage sur le framework Apache), Sqoop (module de synchronisation d’un SGBD SQL avec une base Hadoop) et enfin le langage Pig - que VMware supporte également dans Spring Hadoop. Ce langage permet notamment de générer du MapReduce, explique Fabrice Bonan.

«Cette offre est entièrement tournée vers Hadoop, indique Fabrice Bonan, mais propose de créer une couche d’abstraction entre le designer de jobs Hadoop et MapReduce, qui sert au développement mais reste top complexe et incompréhensible». Talend veut donc y remédier en proposant un accès simplifié à l’exploitation des caractéristiques Hadoop et un outil de développement visuel, pour «mettre MapReduce à la portée de tous».

Tranchant avec sa politique de licencing, axée sur la GPL, Talend a finalement choisi d’encadrer ses développements de Open Studio for Big Data d’une licence Apache, afin «d’être cohérent avec Hadoop et les distributeurs du marché», souligne-t-il, listant MapR, Cloudera et Hortonworks. C'est également indispensable pour s’aligner sur la politique de Hortonworks - une spin-off de Yahoo qui réunit la matière grise du portail, et l’un des principaux contributeurs à la communauté Hadoop - dont il vient grossir les rangs des partenaires. Un partenariat qui n’est toutefois pas exclusif et pourrait bien d’étendre aux autres acteurs.