Stockage : Hammerspace unifie à présent les baies NAS et S3
En ajoutant le support des stockages S3 à son système Global Data Platform qui ne regroupait que les NAS, l’éditeur permet de regrouper tous les silos de données d’une entreprise pour les livrer ensemble à une IA.
Hammerspace ajoute le support du mode objet S3 à son système de stockage Global Data Platform. Le système de fichiers parallélisé Global Data Platform permet initialement d’unifier dans une même unité logique plusieurs NAS (mode fichier) physiquement, voire géographiquement, séparés. Cet ajout unifie en plus les différents modes de stockage. Selon l’éditeur, cela étend le champ des données sources dans le cadre de projets d’entraînements de modèles d’IA ou de supercalcul.
Avant cet ajout, Hammerspace utilisait déjà le protocole S3, mais uniquement pour stocker sur une baie en mode objet les copies de secours des résultats définitifs issus des calculs. En revanche, les applications qui enregistrent elles-mêmes des données vers un stockage S3 ne pouvaient pas écrire directement sur le cluster Global Data Platform. Désormais, c’est le cas.
« Les baies S3 et les services de stockage en ligne S3 peuvent être inclus dans le pool de stockage de Global Data Platform. Les serveurs vont y chercher des données supplémentaires sans que l’entreprise ait eu à les migrer. »
Mike MatchettAnalyste, Small World Big Data.
« Le fait est que Global Data Platform ne savait jusque-là donner aux serveurs de calcul que des fichiers. Si des entreprises généraient des données au format objet, elles devaient les convertir en fichiers et les copier sur le cluster Global Data Platform, ce qui impliquait de la complexité et de la consommation d’espace de stockage », commente Mike Matchett, analyste pour le cabinet de conseil Small World Big Data.
« Désormais, les baies S3 et les services de stockage en ligne S3 peuvent être inclus dans le pool de stockage de Global Data Platform. Les serveurs vont y chercher des données supplémentaires sans que l’entreprise ait eu à les migrer. »
Techniquement, le système Global Data Platform fournit aux serveurs une vue globale des contenus et il étiquette ces derniers à des fins d’optimisation des accès. Cet étiquetage permet par exemple de présenter un objet comme un fichier et un fichier comme un objet.
Présenter ensemble tous les silos de données de l’entreprise à l’IA
Selon Molly Presley, directrice des produits chez Hammerspace (en photo), l’éditeur aurait constaté que de plus en plus d’entreprises se servent de son système Global Data Platform pour alimenter des serveurs de calcul en données sources. Initialement, la plateforme avait été conçue pour que plusieurs filiales distantes puissent partager leurs documents, au travers d’un NAS à cheval entre plusieurs positions géographiques. En l’occurrence, chaque NAS local présente à ses utilisateurs les documents des autres NAS comme s’ils étaient stockés sur place.
Dans un cluster de calcul, le système fonctionne de manière similaire : il présente aux serveurs tous les fichiers de l’entreprise au travers d’un seul accès NAS. Quand un serveur charge un fichier, il déclenche en réalité la lecture de métadonnées qui indiquent où se trouvent physiquement les données contenues dans ce fichier.
Le système d’Hammerspace présente ici l’intérêt d’unifier plusieurs silos de données que différentes directions métiers stockent chacune dans le datacenter de leur entreprise. Au pire, si l’entreprise accroche à son cluster Global Data Platform des NAS ou des services de stockage S3 situés ailleurs, Hammerspace permet de rapatrier très simplement leurs contenus sur le site de calcul.
Généralement, les serveurs demandent l’index des données à traiter puis annoncent lesquelles seront prises en charge par quels nœuds. C’est à ce moment que Global Data Platform déplace l’essentiel des données sur l’accès le plus rapide. Ensuite, les calculs commencent.
« C’est une fonction très intéressante. Bien qu’il y ait tout de même quelques contraintes : vous devez vous assurer que vous avez suffisamment de capacité de stockage sur le site de calcul, et attendre que toutes les données aient été rapatriées », relève Ray Lucchesi, analyste auprès du cabinet de conseil Silverton Consulting.
