DDN dope ses baies Exascaler aux disques NVMe et dévoile des appliances IA
Le fournisseur américain a profité de la conférence européenne du supercalcul ISC de Francfort pour présenter la 4e génération de ses systèmes de stockage parallèle Exascaler et pour dévoiler des appliances d'IA combinant ces systèmes avec les noeuds de calcul GPU DGX-1 de Nvidia.
DataDirect Networks a profité du salon du supercalcul ISC qui se tenait la semaine dernière à Francfort pour annoncer une refonte de son offre de stockage à très hautes performances ExaScaler, avec l’arrivée de deux nouveaux systèmes basés sur des disques SSD NVMe et d’un système hybride mixant SSD et disques durs.
La quatrième génération de systèmes ExaScaler s’appuie comme la précédente sur l’architecture SFA (Storage Fusion Architecture) mais met en œuvre 24 SSD NVMe à double port dans des châssis rack 2U. Elle se compose de deux modèles, les SFA 200NV et SFA 400NV, qui se différencient par leur nombre de processeurs (un CPU par contrôleur pour le 200NV, contre deux CPU par contrôleur pour le 400 NV). Les deux systèmes délivrent jusqu’à 360 To de stockage brut NVMe dans 2U de hauteur.
Selon DDN, la « fabric » interne des serveurs fournit 192 voies PCIe. Le constructeur n’a toutefois pas précisé la nature des CPU motorisant les contrôleurs. Par défaut, un contrôleur à base de puces AMD EPYC délivre 192 voies PCIe. Des contrôleurs Intel ne peuvent actuellement atteindre ce chiffre et il faut les renforcer en utilisant des commutateurs PCIe pour délivrer 192 lignes PCIe (avec toutefois un risque de contention au niveau des contrôleurs). Interrogé sur la nature des processeurs utilisés dans ses contrôleurs, DDN ne nous avait pas répondu à l’heure de la rédaction de cet article.
Si DDN soigne la performance de ses contrôleurs haut de gamme, la firme n’en oublie pas son offre plus capacitive. Le constructeur a ainsi profité du salon du supercalcul ISC de Francfort pour dévoiler le système hybride SFA7990, un système 4U capable d’accueillir jusqu’à 90 disques ou un mix de disques durs et de SSD. Selon DDN, une pile de cinq systèmes SFA7990 peut fournir jusqu’à 5,4 Po de capacité brute dans 20 U de hauteur.
Parallèlement à la mise à jour de ses contrôleurs, DDN maintient ses efforts dans le logiciel. À Francfort, le constructeur a ainsi confirmé qu’il a racheté à Intel son référentiel de code Lustre, ainsi que les contrats de supports des clients du système de fichiers parallèle. Le montant de l’acquisition n’a toutefois pas été divulgué.
Lustre est le système de fichiers utilisé par DDN pour motoriser son offre de stockage parallèle ExaScaler. Pour la petite histoire, l’actuel CTO de DDN n’est autre que l’ancien architecte en chef de la division HPC d’Intel et ancien cofondateur de Whamcloud, le principal contributeur à Lustre avant son rachat en 2012 par Intel.
Une solution optimisée pour l’IA et le machine learning
Comme Pure Storage, DDN a décidé de packager son offre de stockage à hautes performances avec les systèmes de calcul GPU NVidia. Les entreprises peuvent ainsi acquérir des solutions prêtes à l’emploi pour leurs projets d’IA ou de machine learning.
Bâtie autour des systèmes Exascaler SFA 200NV et SFA 400NV, l’offre d’appliances d’intelligence artificielle du constructeur se compose des DDN AI200 et AI400. Les appliances AI de DDN sont fournies avec des implémentations optimisées de multiples frameworks d’IA et de machine learning, dont Caffe, CNTK, Horovod, PyTorch, TensorFlow, TensorFlow.
Pour leurs appliances IA, les entreprises peuvent combiner les baies NVMe de DDN avec des noeuds de stockage hybride de la gamme SFA. Lustre permet en effet de présenter le stockage de fichiers comme un pool de capacité unifiée mixant flash et disques durs au sein d’un espace de nommage unique.
« À ce stade précoce, les clients ne savent pas nécessairement où ils vont avec l’IA », explique James Coomer, le vice-président produit de DDN Coomer. « Ils peuvent avoir besoin de plus de flash pour la performance. (…) ils ont aussi besoin d’un moyen économique de conserver des données relativement froides. Nous leur donnons le choix d’étendre la zone dédiée aux informations chaudes avec de la flash ou de l’augmenter avec des disques durs ou toute combinaison des deux ».
Coomer a aussi indiqué que DDN prévoit de faire des investissements pour permettre à Lustre de supporter l’inférence et l’entraînement de modèles de machine learning et pour en simplifier l’usage et le déploiement. Le code source restera open source et ouvert aux contributions de la communauté.