echiechi - Fotolia

Actualites

Hadoop : à son tour, IBM se range derrière Hortonworks

Après Pivotal et Microsoft, IBM préfère miser sur Hortonworks plutôt que de maintenir sa propre distribution BigInsight. Les deux partenaires vont travailler à intégrer HDP aux outils de data science et de Machine Learning d’IBM et collaboreront au sein de la fondation Apache.

Cyrille Chausson
par
Publié le: 14 juin 2017

En matière d’Hadoop, IBM a finalement décidé de tout miser sur Hortonworks. A l’occasion de la conférence Dataworks Summit (l’ex-Hadoop Summit), Big Blue a annoncé qu’il capitaliserait désormais sur la distribution Hadoop d’Hortonworks (Hortonworks Data Platform), migrant l’ensemble des clients de BigInsight vers cette plateforme. En un mot, IBM ne développe plus de distribution Hadoop.

Cette annonce n’est finalement qu’une demi-surprise. Si IBM et Hortonworks avaient déjà scellé une précédente alliance (portant par exemple sur le support des systèmes Power par HDP), les deux partenaires s’étaient surtout retrouvés lors la création de l’ODPi (Open Data Platform) pour définir un socle de fonctions coeur Hadoop standard. Ce consortium a pour objectif de favoriser l’interopérabilité et la pérennité d’un écosystème autour du framework lui-même Open Source.

Surtout, avec ce dispositif en place, IBM a finalement fait le même constat que Pivotal, qui lui-même a abandonné les développements de sa plateforme Hadoop pour HDP : la différence entre les deux socles ne justifiait plus la maintenance d’une distribution dédiée. Un point que reprend Rob Thomas, directeur général des activités  Analytics Platform chez IBM, dans un billet de blog : « Deux ans après (la création de l’ODPi, NDLR), nous pensons qu’IBM Open Platform (IOP) et HDP sont identiques. Nous avons choisi de nous concentrer sur la distribution Hadoop de base d’Hortonworks. IBM, de son côté, se concentrera sur ce que nous pensons être la meilleure plateforme de  Data Science disponible sur le marché. »

Ainsi dans le cadre de cet accord, Big Blue délaisse la couche sous-jacente pour se concentrer purement sur l’usage et l’exploitation des données  -  analytique et le Machine Learning par exemple dans un usage de Data Science. Ainsi IBM Data Science Experience, le studio pour Data Scientists, sera intégré à HDP et la solution qui en ressort, IBM Data Science Experience with HDP, sera revendue aussi par le spécialiste d’Hadoop. Des solutions communes mêleront HDP et Big SQL, le moteur SQL d’IBM pour Hadoop, d’autres autour du Machine Learning sur HDP.

L’autre pan porte sur une collaboration des deux partenaires au sein de projets Open Source de la fondation Apache, Atlas (gouvernance des données et métadonnées sur Hadoop -  un projet soumis à la fondation par Hortonworks) et bien sûr Spark.  Une collaboration dont la communauté devrait pleinement profiter, explique de son côté, Frank Mong, le directeur marketing d’Hortonworks dans un autre billet de blog.

Les jeunes développeurs préfèrent les start-ups aux gros acteurs

En se rangeant derrière Hortonworks,  IBM emprunte donc les voies déjà prises par Pivotal ou encore Microsoft, qui avait fait le choix de la société pour les développements de HDInsight sur Windows et Azure. Intel a préféré quant à lui, Cloudera l’autre pure-player Hadoop et est monté au capital de la société.  Ces spécialistes de l’IT et de l’analytique ont tous désormais un point commun : ils se reposent sur un nouvel entrant pure-player pour soutenir un pilier clé de leur croissance. Quelque peu à l’inverse des tendances passées en matière d’IT. Hortonworks change la donne, soutient d’ailleurs Brian Hopkins, analyste chez Forrester dans un billet de blog.

Surtout, tous ont été également confrontés à un problème clé : celui des compétences. « Travailler sur des systèmes Open Source distribués est nouveau et complexe », résume-t-il.  Et d’ajouter : « Les jeunes développeurs avec ces nouvelles compétences et qui ont  l’énergie nécessaire pour s’approprier ces technologies ne vont généralement pas chez IBM ou Microsoft. Ils préfèrent travailler pour des start-ups de la Silicon Valley qui défient ces grands acteurs. » Delà naissent ces partenariats clé, mais pas d’acquisition… pour le moment.

Pour approfondir sur Big Data et Data lake