Avec hscaler, DataDirect Networks propose sa propre appliance Hadoop prête à l'emploi

Une solution de traitement Hadoop sur mesure

Une appliance hScaler de DDN

La plate-forme hScaler s’appuie sur l’architecture de stockage en cluster NAS Storage Fusion 12K (SFA 12K) du constructeur, qui supporte le protocole HDFS. Cette dernière peut gérer jusqu’à 7 Po de données et délivrer jusqu’à 1,5 millions d’IOPS. Selon Jean-Luc Chatelain, vice-président de la stratégie et de la technologie du constructeur, hscaler a pour objectif de faciliter l’adoption d’Hadoop dans les entreprises. "La réalité est que Hadoop n’a pas franchi le pas des datacenters. La majorité des entreprises n’utilise pas Hadoop” explique Chatelain. “Construire un cluster Hadoop est un projet digne d’un projet de recherche scientifique. Le client doit assembler de toutes pièces un système et dans certains cas, cela peut prendre jusqu’à six mois pour déployer une infrastructure Hadoop. Notre appliance réduit ce temps d’implémentation à huit heures”.

DDN livre en effet l'appliance prêt configurée en fonction des besoins des clients. Dans hScaler, les noeuds de stockage et de calcul peuvent être dimensionnés de façon indépendante."La façon traditionnelle de faire évoluer un cluster Hadoop est d’ajouter des serveurs avec leur stockage attaché" indique Chatelain. "L’inconvénient est que chaque fois que vous avez besoin de plus de puissance de traitement vous devez aussi ajouter des disques. Cela aboutit à des déséquilibres entre stockage et puissance de calcul. Nous estimons qu’il y a une façon plus efficace de faire. Nous avons la possibilité de faire évoluer séparément la puissance de calcul et la capacité de stockage”.

Faire évoluer indépendamment la puissance de calcul du stockage

Ainsi, une appliance hscaler inclut au minimum deux baies de stockage 4U SFA 12K avec 84 disques SAS par baie (soit jusqu’à 385 To de capacité avec des disques de 3 To). En complèment de cette infrastructure de stockage, le constructeur dimensionne le nombre de noeuds de calcul en fonction des besoins du client (avec jusqu’à 32 noeuds par rack chacun disposant de 2 CPU et de 64 Go de mémoire vive). Le tout est interconnecté en standard par un réseau 10Gigabit Ethernet, mais peut aussi être déployé, en option, sur une infrastructure réseau 40 Gigabit ou Infiniband. Il est à noter que les noeuds de calcul embarquent une distribution Hadoop concoctée par DDN et dérivée du code libre Apache Hadoop. Le tout est piloté par une interface graphique maison.

hScaler sera disponible vers la fin du mois de mars. Le prix des appliances n’a pas été communiqué mais selon une estimation de Wikibon, un système prêt à l’emploi avec 60 noeuds de calcul et 350 To de stockage, accompagné de 3 ans de services de support et de maintenance devrait coûter un peu moins de 2,5 millions de dollars.