Actualites

Stockage : Vdura lance une version 11 adaptée à l’IA

La nouvelle évolution du système de stockage de Vdura bénéficie d’une architecture entièrement repensée, qui fait qu’elle est plus facile à installer pour les entreprises qui se lancent dans l’IA sans n’avoir jamais fait de supercalcul.

Yann Serra
par
Publié le: 18 nov. 2024

Vdura, anciennement Panasas, qui édite un système éponyme de stockage SDS consistant à produire un NAS réparti sur plusieurs nœuds pour paralléliser les accès vers les fichiers, annonce que la nouvelle version 11 de sa solution serait spécialement adaptée aux traitements en IA. Outre qu’elle serait plus performante (l’éditeur parle de vitesses de transfert ou d’accès onze fois meilleures qu’avec la version 10), cette dernière évolution aurait été entièrement réécrite sous la forme de microservices, ce qui la rendrait beaucoup plus stable.

Le NAS parallèle de Vdura est historiquement conçu pour fonctionner avec des supercalculateurs. Cette nouvelle version « adaptée à l’IA » est surtout censée être plus facilement utilisable par les entreprises qui n’ont jamais fait de supercalcul, mais qui ont désormais besoin d’architectures de stockage taillées pour le supercalcul dans le cadre de leurs nouveaux projets d’IA. En l’occurrence, la nouvelle conception en microservices permet d’augmenter la capacité de stockage à l’envi, sans rien avoir à re-paramétrer dans le système.

Comme d’habitude, la solution sera livrée préinstallée sur des nœuds de stockage fournis par un constructeur tiers, probablement HPE. Ces nœuds étaient précédemment appelés des ActiveStor. Ils se composent soit entièrement de SSD (les « Director Nodes »), pour stocker les métadonnées qui indiquent à chaque requête sur quel nœud physique se trouve le fichier demandé, soit d’un mélange de SSD et de disques durs (les « Hybrid Storage Nodes ») pour stocker les fichiers sur de grandes capacités au meilleur prix.

Des nœuds de stockage directement accessibles

Les nœuds Director Nodes proposés par Vdura sont des serveurs 1U équipés de la toute dernière génération de processeurs AMD Epyc 9005, de SSD NVMe de marque Phison, et soit de cartes contrôleur Infiniband Nvidia ConnectX-7 avec ports 400 Gbit/s, soit de cartes réseau Broadcom avec des ports Ethernet en 200 Gbit/s.

Il est à noter que les cartes Nvidia ConnectX-7 sont censées fonctionner avec le protocole GPUDirect de Nvidia. Celui-ci permet aux GPU Nvidia de lire et écrire directement des fichiers sans passer par le processeur du nœud de calcul). Pour autant, dans les éléments communiqués par Vdura, le support de ce protocole est censé arriver plus tard. Tout comme d’ailleurs un pilote CSI pour accéder au cluster de stockage depuis un cluster Kubernetes.

Pour l’heure, l’utilisation du cluster avec des accès 100 % parallèles passe par l’installation d’un client PanFS sur les serveurs de calcul. Ce client permet aux nœuds de calcul d’accéder directement, en mode bloc, aux nœuds Hybrid Storage Nodes pour charger ou écrire des fichiers, une fois qu’un nœud Director Node a indiqué au nœud de calcul quel nœud Hybrid Storage Node utiliser.

Le cluster est également utilisable en NFS, SMB et S3, mais, dans ce cas, les données transitent par les Director Nodes.

Concernant les nœuds Hybrid Storage Nodes, il s’agit juste de simples tiroirs passifs (JBOD) de disques durs, accessibles en iSCSI.

Un système plus modulaire

Les nœuds qui contiennent des métadonnées fonctionnent avec une nouvelle base de données clé-valeur appelée Velocity Layer Operations (VeLO) qui apporterait à chaque nœud une vitesse d’accès évaluée à 2 millions d’IOPS.

L’espace global du domaine (le Global Namespace, c’est-à-dire le volume partagé sur le réseau) est à présent découpé en volumes logiques appelés VPOD (Virtualized Protected Object Device) dont l’intérêt est d’apporter deux niveaux de redondance : au sein d’un VPOD lui-même, avec une sorte de RAID entre les disques durs d’un même nom, et au travers du cluster avec un système d’Erasure coding entre différents nœuds de stockage. 

Ce système de VPOD garantirait, en cas de panne de disques durs, que la baisse de performances du cluster de stockage serait inférieure à 1 %.

Vdura vante l’efficacité de son système pour répartir les données et les métadonnées sur les Hybrid Storage Nodes, mais le cluster continue d’utiliser des caches (dont il doit maintenir la cohérence), alors que l’utilisation de celui-ci tend à disparaître sur les NAS parallélisés. Toutefois, cette répartition dynamique est la clé pour qu’une entreprise puisse augmenter sa capacité de stockage et son nombre d’accès par simple ajout de nœuds, sans configurer quoi que ce soit dans le système.

Parmi les autres fonctions du système, on retrouve les fonctions classiques de snapshot, d’authentification avec des quotas, d’accès API pour les applications. La compression des données doit arriver prochainement.

Les concurrents de Vdura sur le marché des NAS parallélisés pour les traitements de supercalcul et d’IA comprennent le système de Vast Data (également livré sur des nœuds HPE), Infinia de DDN, Spectrum Scale d’IBM ou encore WekaFS de Weka.

Pour approfondir sur SAN et NAS