L’essentiel sur Hortonworks Data Platform

Hortonworks fait partie des trois pure-players du monde Hadoop original. La société développe sa déclinaison du framework de la fondation Apache, Hortonworks Data Platform. Celle-ci permet de stocker, traiter et analyser d’importants volumes de données, collectées depuis de nombreuses sources et dans des formats multiples. Pour cela, elle s’appuie donc sur HDFS (Hadoop Distributed File System), le système de fichiers distribué, et sur YARN.

YARN (Yet Another Resource Negotiator), composant clé d’Hadoop 2, est en fait un gestionnaire de ressources centralisé qui permet d’étendre le socle de base à d’autres méthodes de traitement des données, comme les requêtes SQL, le streaming temps réel et la data science par exemple.  Les fonctions pour les entreprises portent sur la gouvernance des données, la sécurité et la maintenance opérationnelle.

Depuis la version  2.4, Hortonworks a confirmé qu’il proposerait des mises à jour plus fréquentes dans le cadre de ses services Extended HDP. A travers ces services, les utilisateurs peuvent recevoir leur release,  à un rythme déterminé, et ont aussi accès aux évolutions des autres modules de la sphère Hadoop – comme par exemple Hive, HBase, Storm ou Spark. Les modules cœur de HDP (HDFS, YARN et MapReduce) continueront d’être délivrés une fois par an, comme le définit l’ODP (Open Data Platform).

Cette approche permet aux utilisateurs qui exploitent les modules cœur d’Hadoop pour des fonctions critiques de s’appuyer sur des mises à jour moins fréquentes. Mais avec cette stratégie, les utilisateurs qui souhaitent avoir accès aux versions à un rythme plus régulier et fréquent pourront aussi être satisfaits.

Hortonworks DataFlow (HDF), autre produit du catalogue de la société, fonctionne de pair avec HDP. Cet outil permet d’automatiser tous les flux de données en temps réel, tant la collecte que le routage. HDF s’appuie sur le projet Open Source de la Fondation Apache, NiFi, développé pour répondre aux cas d’usage de l’Internet des objets ou encore celui de l’Internet of Anything (IoA), comme le précise Hortonworks. A l’inverse de l’IoT, qui reste associé aux capteurs et données machine, l’IoAT inclut également les données comportementales (clickstreams) ainsi que les flux issus des réseaux sociaux.

Il existe 3 options d’installation de la version Enterprise d’Hortonworks :

• Hortonworks Sandbox sur machine virtuelle. Il s’agit d’un environnement virtualisé, Mac ou Windows, sur VMware ou VirtualBox, pour créer des prototypes ou à des fins de formation.
• Hortonworks Sandbox dans le Cloud. Cela est une implémentation Cloud de HDP, actuellement sur Azure.
• HDP Ready for the Enterprise, qui propose une installation automatisée sur Linux et Unix via Ambari. On y trouve également des possibilités d’installation Cloud avec Cloudbreak pour Azure, AWS et OpenStack.