Stockage objet : les acteurs en place du marché

Amplidata Himalaya

Cette société belge créée en 2008 s’est fait connaître avec son système de stockage objet AmpliStor commercialisé sous la forme d’appliances prêtes à l’emploi en mode scale-out.

Amplidata a contribué à populariser l’utilisation des systèmes à codes d’effacement (erasure codes) pour la protection des données, mais a fait l’impasse initialement sur les mécanismes de duplication, un choix qui a notamment pénalisé ses performances pour les applications devant stocker de grandes quantités de petits fichiers.

Sa nouvelle génération de système objet, baptisée Himalaya, a été conçue pour répondre à des besoins de type « hyperescale » mais s’appuie sur les mêmes fondamentaux qu’Amplistor. Amplidata compte Western Digital et Intel parmi ses investisseurs

CleverSafe DsNet

Le système de stockage objet distribué dsNet de CleverSafe se présente sous la forme d’un ensemble d’appliances spécialisées comprenant des appliances de management, des appliances de gestion des accès et des appliances de stockage. Assemblées en un système unique, ces appliances permettent la constitution de systèmes objets à très grande échelle (le plus grand déploiement approche les 80 Po).

Les nœuds d’accès de CleverSafe reçoivent les données et les découpent en « tranches » pour les disperser entre les nœuds de stockage (via un algorithme de dispersion d’informations de type Cauchy-Reed-Solomon). Un système objet CleverSafe est accessible via l’API RestFul maison ou via l’API S3. Des passerelles externes permettent éventuellement un accès en mode NAS ou SAN.

L’architecture du constructeur est de l’avis général très bonne pour l’archivage durable de gros fichiers, mais moins adaptée au traitement d’applications plus transactionnelles et requérant le stockage de fichiers de taille plus modeste.

ClerverSafe est aussi en retard sur l’ouverture de sa technologie à des protocoles NAS et SAN, même s’il est possible d’utiliser des passerelles tierces comme celles de Panzura ou Nasuni pour accéder à dsNet. Exception notable, dsNet peut être utilisé de façon transparente par un cluster Hadoop pour le stockage de ses données.

DataDirect Networks WOS

Fondé par des Français en 1998 et installé en Californie, DDN est notamment connu pour ses systèmes de stockage à haute performance pour le monde du HPC. Afin de répondre à la demande de certains de ses clients qui doivent faire face à des besoins de stockage et d’archivage de très grandes quantités de données. La firme a conçu en 2009 son système de stockage objet WOS (Web Object Scaler). Dans sa dernière mouture, ce système de stockage distribué peut gérer jusqu’à 1 exaoctet de données (par assemblage de cluster de 128 Po).

Les données sont protégées via un mécanisme de code à effacement couplé à des mécanismes de réplication. Les mécanismes d’accès supportés sont l’API maison (WOS API), l’API Amazon S3 ainsi que les protocoles SMB de Microsoft (et NFS via des gateways en cluster). Selon DDN, le temps d’accès à un objet de 4Ko est de 9ms en lecture et de 25 ms en écriture. Par rapport à l’API Swift d’OpenStack, DDN estime offrir une performance 12 fois meilleure par disque dur dans le cluster et une latence 5 fois plus faible en écriture. Le constructeur estime aussi qu’il peut lire 10 fois plus d’objets par seconde et par serveur qu’un système sous Swift.

En fait selon DDN, un cluster WOS peut offrir une performance allant jusqu’à 9,8 To/s de bande passante à l’échelle d’un espace de nom et peut accéder jusqu’à 256 millions de fichiers/objets par seconde.

EMC ViPR

Si EMC commercialise toujours son offre de stockage objet Atmos, qui est l’un des systèmes de stockage objet les plus vendus au monde (plus de 1,5 exaoctets livrés), le nouveau fer de lance de la firme est sa technologie VIPR, qui embarque des services de données objets plus riches que ceux d’Atmos.

La philosophie des deux produits est toutefois différente. Atmos est une plate-forme de stockage objet en cluster s’appuyant sur les codes à effacement pour la sécurisation des données et embarquant des technologies avancées de réplication et géoréplication. VIPR ne se préoccupe pas du stockage des données, qu’il sous-traite à des plates-formes sous-jacentes comme des baies de stockage traditionnelles (il permet alors d’ajouter des services objets à des baies NAS ou SAN) ou à des systèmes de stockage distribués comme ScaleIO.

EMC propose d’ailleurs une appliance tout en un, baptisée ECS, qui combine des nœuds de stockage ScaleIO avec des nœuds de service objet VIPR. Selon EMC, VIPR a été conçu pour gérer des infrastructures de stockage massives (à l’échelle de l’exascale) et pour délivrer des performances élevées. Le logiciel permet notamment selon EMC de délivrer un niveau de latence très bas (pour un système objet).

VIPR se distingue par un très large support protocolaire puisque la technologie supporte les protocoles objets S3, OpenStack Swift, et Atmos ainsi que HDFS. Des accès en mode fichiers sont annoncés sur la roadmap d’EMC, de même que le support de l’API Centera (pour les entreprises qui ont investi très tôt dans l’architecture CAS du constructeur).

Hitachi Content Platform (HCP)

HCP est l’héritier en droite ligne des solutions d’Archivas, un éditeur racheté par le constructeur japonais en 2007.

La plate-forme d’Hitachi se compose en fait de plusieurs composants dont HCP qui est le cœur de la plate-forme de stockage objet, HCP Anywhere, qui fournit des services avancés de partage et de synchronisation de fichiers  au-dessus d’HCP et Hitachi Data Ingestor une appliance qui permet aux entreprises d’ingérer des données dans HCP via des protocoles NAS traditionnels.

HCP a beaucoup évolué au cours des dernières années. La dernière évolution de la plate-forme s’appuie sur une architecture de stockage distribuée à base de nœuds x86 standard (les nœuds HCP S10) et fait usage de techniques de codes à effacement pour assurer la sécurité des données. Il est possible via HCP de piloter de multiples clusters S10 (d’une capacité unitaire maximale de 18 Po) pour offrir ainsi des capacités de classe exascale.

Notons que HCP sait aussi consommer la capacité de stockage de baies traditionnelles  pour ses propres besoins via les nœuds HCP 500.

L’une des forces de HCP est la robustesse de ses fonctions multitenant, ses capacités de réplication et de géoréplication ainsi que son support du mode WORM pour les applications d’archivage. HCP dispose de sa propre API et supporte aussi les API S3 et Swift. Le support de S3 sert d’ailleurs de base à l’intégration entre HCP et Hadoop. Hitachi ne supporte pas pour l’instant d’accès en mode SAN ou NAS sur HCP.

Scality Ring

Fondée en France, où la firme conserve sa R&D, mais basée à San Francisco, Scality a conçu une architecture de stockage objet en anneau qui s’appuie sur un protocole pair à pair dérivé  du protocole Chord du MIT pour la distribution des données entre les nœuds. Le Ring de Scality s’appuie sur des mécanismes de code à effacement et de réplication pour la protection des données (l’un ou l’autre des mécanismes peut-être utilisé en fonction de la taille des données)et embarque des fonctions avancées de réplication et de géo-réplication.

Très tôt, Scality a compris qu’il ne pourrait se satisfaire des seuls accès en mode objet (il propose sa propre API compatible avec S3, le support du standard CDMI de la SNIA et le support du protocole Swift d’OpenStack) : Le Ring peut ainsi être accédé directement en mode bloc via un « Block Driver » Linux, mais aussi via NFS, ou via l’API Cinder d’OpenStack.

Scality a aussi travaillé à l’intégration de son Ring avec Hadoop et il est désormais possible via un pilote CDMI de stocker des données Hadoop sur le Ring. Le plus gros contrat signé à ce jour par Scality est avec le ministère de l’énergie US pour un cluster de 120 Po de données.

Cloudian HyperStore

Avec sa solution HyperStore, Cloudian fait une promesse simple : celle de répliquer 100% des capacités du service de stockage objet Amazon S3. Une caractéristique unique, qui, selon l’éditeur, permet aux entreprises de mettre en œuvre des architectures de stockage hybride combinant stockage local sur HyperStore et Stockage en Cloud sur S3.

Actuellement en version 5.0, HyperStore est un logiciel de stockage distribué qui se déploie sur tout type de serveur x86 standard. Le logiciel permet de créer une plate-forme de stockage objet résiliente compatible avec les protocoles S3, mais supportant également le protocole NFS (et à terme SMB v3). Les données ingérées par HyperStore sont protégées par distribution entre plusieurs nœuds serveurs via un mécanisme d’erasure Coding - activable à la demande - ou via un mécanisme de réplication, ce qui permet d’assurer des performances optimales tant avec de petits fichiers qu’avec des fichiers volumineux. HyperStore est aussi capable de gérer le concept de tiering de données et donc de placer les données sur les classes de stockage (SSD, disque dur rapide, disque dur capacitif) les mieux adaptées aux besoins des différentes applications. Le logiciel est aussi capable de faire du tiering de données sur Amazon S3 ou sur Amazon Glacier, permettant ainsi de mettre en place une vraie stratégie de cloud hybride.

Doté de capacité multitenant, HyperStore permet de définir des paramètres de qualité de service (limitation en matière de requêtes ou de bande passante) et de quotas par tenant ou par utilisateur. De même la plate-forme permet une refacturation des utilisateurs à l’usage (données accessibles via la console ou via une interface RestFul).

Notons que la société propose aussi une gamme complète d’appliances matérielle prêtes à l’emploi avec le logiciel HyperStore installé, une offre qui selon la firme répond aux besoins des entreprises. La firme propose enfin une version communautaire de son logiciel permettant aux entreprises d’évaluer la solution gratuitement. Cette version est toutefois limitée à 10 To de capacité.