Le stockage unifié d’Hammerspace passe des succursales au supercalcul
La startup enrichit son système de fichiers multisite de la capacité de travailler avec des données sur bandes et de partager ses contenus en pNFS, un protocole compatible le GPUDirect Storage de Nvidia.
Hammerspace, la startup californienne qui regroupe les documents des succursales au travers d’un NAS virtuel auquel elles ont toutes accès, migre doucement d’une solution pour mieux collaborer entre sites géographiques à une solution pour enrichir l’IA et le HPC avec des données récupérées au-delà du centre de calcul.
« Nous sommes les seuls à avoir surmonté les trois contraintes qui empêchent un moteur de machine learning ou d’inférence d’accéder à des données situées en dehors de la baie de stockage locale », lance David Flynn, le PDG d’Hammerspace (au premier plan sur la photo), lors d’un événement IT Press Tour consacré aux acteurs de la Silicon Valley qui innovent dans le stockage.
« Notre système peut puiser des informations sur n’importe quel support, les présenter dans un seul espace de nom avec un jeu de règles dédié, et tout cela avec les performances d’un système de fichiers parallèle pour supercalculateur », énumère-t-il.
De fait, son système GDE (Global Data Environment) s’est récemment enrichi de deux fonctionnalités. Il y a d’abord celle d’aller récupérer des données archivées sur bandes. « Parce que c’est là que réside tout le patrimoine informationnel dormant des entreprises, le plus utile pour enrichir l’entraînement d’un modèle de langage afin de développer un chatbot ou n’importe quelle autre IA générative », dit David Flynn.
Hammerspace se plaît à dire qu’il compte parmi ses clients des producteurs de médias et des centres de recherche. Ils utilisent initialement GDE pour collaborer avec des studios ou des laboratoires distants, qui ont la manie – plus que toutes les autres entreprises – d’archiver leurs travaux sur des bandes.
L’autre nouvelle fonctionnalité est celle de partager les contenus de son NAS virtuel au protocole pNFS, qui fait figure de standard dans les centres de calcul. L’arrivée ces jours-ci d’un pilote, permettant aux cartes GPU de Nvidia d’utiliser directement le stockage pNFS d’Hammerspace (via le système GPUDirect Storage de Nvidia), vient d’inciter la startup à rebaptiser sa solution Hyperscale NAS quand elle est utilisée dans ce contexte.
Selon Hammerspace, il s’agirait de mieux faire comprendre que sa solution combine la performance et l’élasticité d’un stockage pour supercalculateur avec la simplicité d’un NAS d’entreprise.
Présenter une multitude de sources de données sur un seul NAS
En NFS, le serveur de stockage NAS fait office de passerelle entre, d’une part, un réseau TCP/IP local composé de machines capables de télécharger des fichiers et, d’autre part, des disques – généralement les siens – qui contiennent des données en mode bloc (SCSI ou NVMe). L’apport de GDE à ce stade est qu’il permet d’ajouter aux fichiers que partage le NAS des fichiers qui ne sont pas physiquement présents dans les blocs de ses disques.
GDE fonctionne avec un système de liens qui pointent, via les technologies d’Hammerspace, vers toute une galerie d’autres systèmes de stockage capables de partager des données : d’autres NAS, des baies de disques en mode bloc, des services de partage de fichiers qui utilisent le protocole S3, etc. Ces systèmes peuvent être répartis sur le même site, sur d’autres, ou quelque part en cloud.
Pour ce faire, GDE remplace le système de fichiers du serveur Linux hôte par le sien, l’Hammerspace Parallel Global File System. Dans ce système, la liste des fichiers présents et les liens vers des blocs extérieurs sont des métadonnées. Elles sont partagées avec tous les autres systèmes de stockage enrôlés par une entreprise dans un réseau Hammerspace, par le biais d’installations de GDE sur ces systèmes, quand ce sont d’autres NAS Linux, ou via des connecteurs logiciels, quand ce n’est pas le cas.
L’intérêt de GDE est d’être richement pourvu en connecteurs pour une multitude de systèmes de stockage. Concernant l’accès aux données archivées sur des bandes, GDE utilise plus exactement des connecteurs S3 vers des solutions tierces de gestion des archives sur bandes, qui sont compatibles avec ce protocole. À date, Hammerspace a validé son connecteur sur les solutions de Grau Data, PoINT et QStar.
Concernant l’accès distant vers des baies de SSD NVMe, GDE se connecte à la solution de Vcinity qui permet de faire circuler du NVMe/TCP (mode bloc) via une connexion Internet, à 90 % de la bande passante maximale de la fibre utilisée. Plus exactement, Vcinity se présente à chaque extrémité de la connexion Internet comme un NAS, ce qui simplifie son intégration dans GDE.
Précisons que le NAS local est un serveur Linux sur lequel s’installe GDE. Et c’est GDE qui s’occupe de partager les fichiers, via les protocoles NFS 4.2 ou 3.0, selon ce que supportent les machines du même réseau local. GDE apporte aussi des fonctions de haut niveau : il peut dresser des diagnostics, monitorer les accès, sauvegarder par snapshots et par réplication, compresser, dédupliquer, chiffrer. Et tout cela via une console d’administration web.
Et maintenant un fonctionnement pour les supercalculateurs de l’IA
En pNFS, le fonctionnement est différent. Ici, les serveurs NAS ne partagent que des métadonnées sur le réseau TCP/IP. C’est-à-dire la liste des fichiers contenus sur leurs disques, ainsi que les numéros de blocs que chacun utilise – ou qu’ils vont devoir utiliser – dans le cas d’une écriture.
Lorsqu’une machine souhaite lire ou écrire un fichier, elle obtient du serveur le plus proche une liste de numéros de blocs. Puis elle télécharge directement les blocs listés, via un réseau secondaire (généralement de l’Infiniband en ce qui concerne les supercalculateurs, ou du RoCE plus récemment) vers les nœuds de stockage qui possèdent ces numéros de bloc.
« Le bénéfice est que vous n’avez plus besoin de migrer toutes vos données sur des serveurs pNFS qui coûtent cher, vous pouvez vous en servir pour entraîner votre modèle d’IA en les laissant sur vos NAS d’origine. »
David FlynnPDG, Hammerspace
Cette architecture évite que le NAS soit un goulet d’étranglement pour les lectures/écritures, car les blocs sont répartis sur plusieurs serveurs de stockage qui partagent un accès en mode bloc (protocoles SCSI, NVMe-over-Fabric...) avec toutes les machines du réseau.
Dans ce second scénario d’usage, GDE – ou plutôt Hyperscale NAS – est installé sur chacun des serveurs de métadonnées et, comme précédemment, il y présente des fichiers qui sont physiquement stockés ailleurs.
« Le bénéfice est que vous n’avez plus besoin de migrer toutes vos données sur des serveurs pNFS qui coûtent cher [à cause de la connexion Infiniband, N.D.R.], vous pouvez vous en servir pour entraîner votre modèle d’IA en les laissant sur vos NAS d’origine », explique David Flynn à grand renfort de schémas fléchés sur un tableau blanc.
À ce stade, il faudra attendre les déploiements pour constater si la récupération en amont, de fichiers depuis des NAS génériques, pénalise le haut débit d’une connexion GPUDirect Storage de Nvidia en aval. LeMagIT croit comprendre qu’un tel type de déploiement ne fonctionnerait de manière acceptable qu’avec des NAS rapides situés dans le même datacenter que les GPU Nvidia, vraisemblablement des Isilon ou des Qumulo sur un réseau Ethernet en 25, 40 ou 100 Gbit/s. Courant février, Cisco prétendait que ses infrastructures Ethernet pouvaient rivaliser de vitesse avec l’Infiniband.
Seul l’entraînement d’un modèle – ou le machine learning, d’une manière plus générale – a besoin du protocole hyper rapide GPUDirect Storage. L’inférence, qui consiste à compléter l’entraînement d’un modèle avec un jeu de données local, ou, encore mieux, le RAG, qui consiste à insérer les données locales dans l’analyse d’un chatbot au moment du prompt, se contente d’un débit plus classique. Ces deux dernières approches pourraient être compatibles avec la récupération de fichiers depuis des bandes ou depuis un site distant.
