Stockage : DDN accélère sa solution de référence pour Nvidia

Une connectique Ethernet haut débit en plus

« L’autre nouveauté est que nous proposons aussi à présent une version qui fonctionne en Ethernet, c’est-à-dire avec des switches plus répandus en dehors des centres de supercalcul que l’Infiniband. Nous utilisons dans ce cas les cartes SpectrumX de Nvidia, basées sur leurs puces accélératrices, les DPUs BlueField-3. Et nous obtenons les mêmes performances dans un cas comme dans l’autre. »

« C’est une révolution pour nous, car la force de nos solutions est la vitesse d’écriture des données. Or, il n’était jusqu’ici pas possible d’atteindre de tels débits en écriture avec de l’Ethernet », ajoute-t-il.

En l’occurrence, le protocole pNFS utilisé par DDN repose sur une écriture des fichiers en rafale et en mode bloc depuis les serveurs de calculs, un dispositif qui ne supporte pas la perte des paquets inhérente aux réseaux TCP/IP. Mais Nvidia implémente sur ses cartes réseau SpectrumX du RoCE (RDMA over Converged Ethernet) qui évite la perte de paquets.

Pour le reste, chaque baie EXAscaler intègre une capacité de 500 To sur des SSD NVMe et elle peut être étendue avec des tiroirs de disques pour atteindre 5 Po. Utilisant le système de fichier Open source Lustre, la solution de DDN peut être assemblée en cluster, chaque nœud de stockage donnant accès au même volume logique de fichiers.

Des fonctions exotiques pour raccourcir les temps de calcul

Au tableau des performances, un nœud EXAscaler AI400X2 Turbo offre désormais un débit de 120 Go/s vers les serveurs de calcul et supporte d’enregistrer leurs données à la vitesse de 75 Go/s.  Comparativement à d’autres baies de stockage dévoilées sur le même salon, notamment celles de Weka, HPE ou IBM, ces chiffres ne sont pas les plus impressionnants.

« Oui, mais le secret dans le stockage hautes performances – qui est notre métier et pas celui de nos concurrents – est que le débit de données n’est pas le seul paramètre à prendre en compte. Un autre paramètre important est la gestion de map calls, un terme dont nos concurrents n’ont sans doute jamais entendu parler » ; argumente Kurt Kuckein.

« Les map calls sont un dispositif utilisé par les applications de calcul – dont les moteurs d’IA – pour vérifier la cohérence des données qu’ils modifient et rechargent sans cesse pour approfondir la qualité de leurs résultats. Si vous ne prenez pas en compte ce dispositif dans votre système de stockage, vos serveurs de calculs ne vérifient pas assez souvent la cohérence des données, vous laissez se propager les erreurs et, quand elles sont finalement détectées, votre serveur se rend compte qu’il doit recommencer des heures de calcul. »

« Selon nos expérimentations, sans gestion des map calls, les temps d’écriture d’un grand modèle sur la baie de stockage vont cumuler 60 jours jusqu’à ce que l’entraînement se termine. En prenant en compte les map calls, vous réduisez ce délai de 40% », explique-t-il.

Toutefois, Kurt Kuckein consent à révéler au MagIT qu’une nouvelle baie ExaScaler, succédant à l’AI400X2 Turbo, sera lancée d’ici à cet été. La seule information technique qu’il dévoile est que cette machine sera basée sur des bus PCIe 5.0. Ce sont ces mêmes bus qui permettent aux concurrents de DDN de présenter des baies avec des débits plus rapides.

Des DPU BlueField-3 également pour le stockage secondaire Infinia

Concernant l’adoption nouvelle des DPU Bluefiled-3 de Nvidia, le stand de DDN révélait une surprise : juste derrière l’autel sur lequel trônait la nouvelle baie EXAscaler AI400X2 Turbo, le public du salon GTC 2024 a pu découvrir une nouvelle version de la baie Infinia dédiée au stockage objet. Et celle-ci est également équipée de cartes Ethernet BlueField.

« Infinia est une solution que nous avons lancée l’année dernière et dont le principe est de reproduire notre savoir-faire en matière de stockage massivement parallélisé dans une solution basée sur le protocole S3 », dit Kurt Kuckein.

Il rappelle que l’intérêt de cette solution, par rapport aux baies de stockage objet existantes et qu’elle est élastique à souhait : à tout moment, une entreprise peut rajouter des nœuds pour augmenter la capacité. Il n’y a aucune reconfiguration à faire pour, par exemple, redéfinir les règles de performances, ou encore d’Erasure coding, qui assurent la pérennité des données sur le cluster via des blocs de données en double ou en triple.

« Ici, ce que nous produisons, ce n’est pas spécialement une baie matérielle, mais plutôt le système SDS qui l’anime. Et ce SDS, nous l’avons segmenté en containers fonctionnels : il y a des containers pour le stockage en lui-même sur disques, des containers pour les métadonnées, des containers pour indexer les données sur les nœuds d’un cluster. »

« Or, les containers étant très légers, nous pouvons en installer sur les serveurs qui accèdent à la baie Infinia. Et, dans ce cas, nous pouvons établir un protocole de communication RDMA entre les serveurs et les nœuds de la baie, qui est décodé par le DPU BlueField. Cela signifie que nous faisons tomber le principal problème d’une baie de stockage S3 : sa lenteur. »

« Mais au-delà, nous pouvons même ainsi adapter le RDMA pour qu’il accélère, tantôt, l’index, tantôt, la vitesse de lecture et, tantôt un tout autre protocole que l’accès S3. Je vous révèle ainsi que nous implémenterons bientôt aussi sur cette configuration du NAS parallélisé », lance Kurt Kuckein.

DDN n’a pas spécialement l’intention de vendre des baies Infinia en dehors des centres de calcul. Son objectif serait de proposer cette solution à ses clients qui ont besoin d’un stockage secondaire sur lequel entreposer les résultats de leurs traitements.

« À l’heure actuelle, nous proposons Infinia prêt à l’emploi sur des baies déjà toutes équipées en processeur, en SSD et, donc, en cartes DPU. Parce que c’est le plus simple à vendre à nos clients. Cela dit, nous allons étudier la possibilité de vendre notre SDS à d’autres fabricants qui pourraient l’installer sur leurs matériels », conclut Kurt Kuckein.