Support amélioré d'HDFS pour Isilon et compatibilité OpenStack Swift

Jusqu'à 50 Po dans un cluster

Le dernier-né des nœuds de stockage Isilon permet de stocker jusqu'à 3,2 Po de données par rack et porte la capacité maximale d’un cluster Isilon à 50 Po avec la dernière mouture de l’OS maison, OneFS 7.2. La série HD est une nouvelle série de nœuds de stockage qui vient s’ajouter aux actuels nœuds à haute performance (série S), aux nœuds à haut débit (série X) et aux nœuds d’archivage (série NL). Ces derniers étaient jusqu’alors les plus capacitifs de la firme et permettaient de mettre en œuvre des clusters pouvant atteindre 32 Po.

Les nouveaux nœuds sont motorisés par la version 7.2 du système d’exploitation d’Isilon, OneFS. Cette mouture apporte en particulier le support des versions 2.3 et 2.4 du système de fichier distribué Hadoop (HDFS) - le support initial d'HDFS dans Isilon date de 2012 - ainsi que la compatibilité avec l’API de stockage objet d’OpenStack, Swift. Isilon a validé son implémentation de HDFS avec Hortonworks, une certification qui s’ajoute à celle existante pour les distributions Hadoop de Cloudera et Pivotal. Pour mémoire la principale nouveauté de la version antérieure du système de fichiers d'Isilon était l'ajout de la déduplication de données.

Un support amélioré d'Hadoop et une compatibilité avec l'API objet d'OpenStack, Swift

Le support de Swift est une nouveauté importante mais n’est sans doute qu’une première étape vers plus de support de technologies objets dans Isilon, dont le système de fichiers partage de nombreuses caractéristiques avec celles des systèmes objets modernes. Certes EMC recommande plutôt sa plate-forme Elastic Cloud Storage (ECS) pour le stockage objet, mais le support de Swift permet à la plate-forme Isilon d’être plus flexible.

Le support enrichi de HDFS, de son côté s’inscrit dans la stratégie d’EMC de positionner la plate-forme de stockage Isilon comme la plate-forme idéale pour la création d’un « datalake » (littéralement un lac de données). Il est ainsi possible de lancer des opérations analytiques directement sur les données stockées dans un cluster Isilon, sans avoir à les importer préalablement dans un stockage DAS Hadoop. 

EMC met notamment en avant les gains importants en matière d’efficacité, mais aussi les gains en matière de stockage (HDFS réalise trois copies de chaque objet stocké et est donc bien moins efficace qu’Isilon pour ce qui est de l’utilisation de la capacité disponible). Or à de grandes échelle, le nombre de disques utilisés commence à avoir son importance dans le coût de fonctionnement d’un cluster (espace occupé et énergie consommée). 

Reste que pour les puristes d’Hadoop, le fait que les données soient positionnées près des traitements est important. Nombre d’entre eux expliquent aussi que le prix d’achat de serveurs banalisés avec leur propre stockage est inférieur à celui d’un cluster Isilon.