Spark : l’adoption en production se confirme
13% des développeurs interrogés utilisent déjà Spark en production. Le turbo pour Hadoop, alternative à Mapreduce, représente de plus en plus un socle pour les projets Big Data.
L’intérêt pour le projet Spark et sa capacité à remplacer MapReduce se confirme. C’est ce que révèle une étude de la société TypeSafe (réalisée avec Databricks, les créateurs de Spark), spécialisée dans le développement d’applications Java.
D'après cette étude, le framework, complément d’Hadoop, serait aujourd’hui utilisé en production par 13% des quelque 2 100 personnes interrogées (trois-quart de développeurs) alors que la technologie n’en est que dans la première phase de son évolution (elle est disponible dans sa v1.2 depuis janvier dernier).
31% autres répondants affirment être en phase d’évaluation alors que 20% envisagent d’utiliser Spark en 2015.
Il faut dire que Spark constitue une solution à un problème clé d’Hadoop : les performances de MapReduce. Spark, grâce à un traitement in-Memory, accélère les requêtes sur Hadoop. On parle de requête jusqu’à 100 fois plus rapide. La technologie comprend également des bibliothèques pour le streaming de données et pour le Machine Learning.
C’est bien cette capacité à remplacer MapReduce qui semble séduire le plus les développeurs. A 82%, les répondants souhaitent utiliser le framework comme une alternative à l’un des socles historiques de la sphère Hadoop (MapReduce), 78% ont la volonté d’accélérer leur traitement de données en volume, alors que 67% y voit une technologie adéquate pour le traitement d’événements en temps réel. 62% l’utilisent encore pour charger des données depuis HDFS et enfin 54% affirment l’utiliser en standalone.
