Spark et SQL-On-Hadoop : vers un Hadoop augmenté

Introduction

Comment imaginer aujourd’hui le monde du Big Data sans Hadoop ? Créé en 2004 à partir des travaux exploratoires de Google, puis mis en musique par Doug Cutting, la rampe de lancement Hadoop a véritablement pris son envol en 2008, année où les développements se sont davantage structurés.

En quelques années, Hadoop - et son compagnon MapReduce sans qui la technologie ne serait pas ce qu’elle est - sont parvenus à s’enraciner sur un marché du Big Data en plein essor.

Si les fournisseurs ont certes rapidement pris la mesure de ce tandem, intéressés par les capacités de clusters HDFS, les projets ont en revanche tardé à venir. Manque de cas d’usage, maturité balbutiante, ROI impossible à calculer : les entreprises ont mis le temps à comprendre la technologie et à placer Hadoop au rang des priorités de leurs investissements.

Depuis 2011, année de la version 1.0 du framework, les explorations se sont multipliées. De là ont émergé logiquement des freins dans les usages et des lacunes à l’éclosion de projets en production. En cause : la complexité de l’outil, le manque de compétence et la lenteur des traitements opérés par MapReduce, essentiellement cantonné aux traitements par lot – le fameux mode batch.

Dans un monde où la donnée n’a d’importance et de sens que lorsqu’elle est interprétée dans le bon timing, cette latence dans les traitements a rapidement symbolisé le problème principal à résoudre.

Aujourd’hui la sphère des technologies Hadoop n’a plus rien à voir avec celle de 2011. Le framework, et surtout son système de fichier HDFS, sont devenus un noyau autour duquel gravitent de nombreux de projets annexes. Leur vocation : faire atterrir Hadoop sur des terres qu’il n’avait jamais atteintes, voire pour lesquelles il n’avait pas  été conçu.

Temps réel, Machine Learning et SQL-On-Hadoop sont désormais ciblés, car ce sont désormais là que se trouvent les cas d’usage en matière d’analytique.

C’est dans ce contexte que s’inscrivent Spark, Impala, Kudu, Storm, Kafka, Pig, Hive et Arrow – le petit dernier – tous développés pour augmenter Hadoop et en faire un outil qui correspond davantage aux entreprises. Un cheminement vers une démocratisation d’Hadoop, en quelque sorte, à base de temps réel et de SQL. Ce Guide Essentiel vous en explique la mécanique.

1Un framework augmenté-

Comment les fournisseurs poussent Hadoop vers de nouvelles sphères

2Temps réel et Machine Learning-

Spark rebat les cartes du monde Hadoop

3Big Data-

Hadoop : une rampe de lancement vers d’autres usages