DDN, fournisseur de solutions de stockage NAS pour les supercalculateurs, prépare la seconde vague de l’IA, en particulier l’IA générative. Et cela semble bien parti. Lors d’une rencontre à l’IT Press Tour, Kurt Kuckein, VP Marketing de DDN a revendiqué que « DDN avait livré plus de systèmes de stockage dédiés à l’IA au 1er trimestre 2023 que sur toute l’année 2022 ».
Comme la plupart des spécialistes modernes du HPC et de l’IA, DDN conjugue sa solution avec des baies Superpod DXG de Nvidia. DDN travaille depuis 4 ans avec ce constructeur. « Nous sommes le stockage de 5 000 systèmes DGX », affirme Kurt Kuckein. Question SSD, DDN est passé des NAND TLC aux NAND QLC. Objectif : augmenter la capacité sans perdre de performance. Les SSD à NAND QLC sont aussi rapides que ceux en NAND TLC sur les lectures. Or, l’importance des lectures prime sur celles des écritures dans le cas de l’IA.
Un stockage conçu pour le fonctionnement des GPUs Nvidia
Son nouveau système A1400 X2, avec 12 appliances NAS par rack, offre une vitesse de lecture de 900 Go/s et d’écriture de 780 Go/s. L’A1400 X2 délivre 30 fois plus d’IOPS par rack qu’un système traditionnel, une vitesse d’écriture 10 fois supérieure et une capacité 6 fois supérieure.
« Les entreprises n’ont plus seulement besoin de la performance pure des CPU de leur supercalculateur. Elles nécessitent des IOPs fiables sur des baies extensibles [scale-out, N.D.R.] », argumente Kurt Kuckein. La baie de stockage AX1400 X2 se veut adaptée au LLM (Large Language Model) et, bien sûr, à l’IA générative, laquelle nécessite davantage de données que l’IA classique. Les LLM sont notamment employés dans la reconnaissance vocale (NLP, Naturel Language Processing).
« Les entreprises n’ont plus seulement besoin de la performance pure des CPU de leur supercalculateur. Elles nécessitent des IOPs fiables sur des baies extensibles. »
Kurt KuckeinVP Marketing, DDN
En 3 ans, la taille des modèles a été multipliée par 1000, alors que la mémoire des GPUs a été multipliée par 5. La forte parallélisation permise par l’A1400 X2 doit compenser ce déséquilibre et ainsi accélérer les applications de visualisation comme d’analytique. Elle se veut adaptée au fonctionnement des GPUs Nvidia qui, pour gagner en performances, ne sont jamais « au repos » : ils écrivent ou lient les données en continu. En l’occurrence, dans une infrastructure DGX, ils sont en lien direct avec les disques, sans passer par des serveurs intermédiaires, ni même par les processeurs x86 hôtes.
Deux contrôleurs frontaux (qui embarquent eux-mêmes des caches en NAND TLC) suffisent à gérer 12 appliances, et servent à indiquer aux serveurs de calcul où sont les données. DDN exploite dans ses baies des technologies de virtualisation afin de limiter les câbles, les commutateurs et les serveurs.
Un système de fichiers meilleur
Ces résultats ne seraient pas obtenus sans une plateforme d’orchestration performante. « Celle mise au point par DDN permet facilement de placer les données aux endroits les plus performants pour un coût optimisé », témoigne Zachary Ramjan, Computing Architect du Van Andel Research Institute.
« Nous avons opté pour des systèmes DDN haute performance. Notre centre de recherche, Helmholtz Munich, est désormais bien équipé pour gérer et accéder rapidement aux énormes volumes de donnée générés par la nouvelle vague des applications d’IA. Ce n’était pas possible avec le stockage NFS que nous utilisions auparavant », confirme pour sa part le Dr. Alf Wachsmann, patron du centre de recherche DigIT Infrastructure & Scientific Computing, à Helmholtz Munich.
DDN utilise en l’occurrence le système de fichiers Exascaler, dérivé de Lustre. Selon les estimations des analystes, DDN réalise un chiffre d’affaires annuel compris entre 350 et 400 M$. Récemment, DDN a fait l’acquisition de Nexenta, société spécialisée dans les systèmes SDS (ou stockage défini par logiciel) plus spécialement destinés aux acteurs de l’IOT et de la 5G. Les 3 millions de clients de Nexenta iront rejoindre DDN, qui agrandit ainsi son portefeuille de technologies logicielles.
