Spark commence à se passer d’Hadoop

Spark, la coqueluche des frameworks analytiques pour le Big data, semble prendre doucement son envol hors du giron d’Hadoop, a révélé une étude de Databricks, la société à l’origine du projet et dont le modèle repose sur la commercialisation de services autour du framework.

Selon cette étude, réalisée auprès de 1 417 utilisateurs répartis dans 842 entreprises, 48% d’entre eux utilisent Spark dans un mode standalone, déconnecté d’Hadoop. Quelque 40% des répondants en revanche utilisent Spark au dessus de Yarn sur Hadoop, tandis que pour 11%, le framework est conjugué à Apache Mesos. 

Cela a ainsi de quoi surprendre tant la pile Hadoop, qui s’adosse au système de fichiers HDFS, est vu comme un synonyme de Big Data, depuis même sa conception chez Yahoo en 2005 à partir du MapReduce de Google, mené par Doug Cutting - aujourd’hui architecte en chez Cloudera, un pilier du monde Hadoop.

Pour Matei Zaharia, créateur d’Apache Spark et CTO de Databricks, la croissance continue de Spark est très encourageante, et est liée au fait que les entreprises passent le framework en production pour obtenir de vrais résultats. Et elles le font dans différents types d’environnements, au delà des clusters Hadoop », explique-t-il.

Cette étude (Spark User Survey) est également riche d’autres enseignements. Ainsi on y apprend que les utilisateurs se tournent d’abord vers Spark pour des raisons de performances (91%), pour sa facilité à programmer (77%) et celle à déployer (71%). Plus de la moitié citent également le streaming en temps réel comme la motivation première de leur adoption. Enfin 51% affirment faire fonctionner Spark sur un Cloud public.

Spark est également utilisé pour ses capacités de Machine Learning, de streaming et de graphes. L’étude révèle par exemple que les utilisateurs des fonctions de streaming sont 56% plus nombreux qu’en 2014.