Magazine Storage 39 : l’intelligence artificielle demande de réinvestir dans le stockage

Oui, bien entendu, l’intelligence artificielle pose de nouvelles contraintes au stockage. Une contrainte commerciale pour commencer puisque, en matière de baies de disques, il faut d’ordinaire choisir un juste milieu entre la capacité et les performances, alors que l’IA demande le maximum des deux. Et puis des contraintes fonctionnelles. L’IA nourrit ses réflexions de données qu’il faut au préalable vectoriser. Ensuite, ces copies vectorisées consomment elles-mêmes une partie plus ou moins importante de la capacité de stockage. Jusqu’à 8 ou 10 fois la taille occupée par les données d’origine si elles sont très nombreuses (parce que plus elles sont nombreuses, plus le vecteur de chaque information prend de la place).

Mais il y a plus encombrant : avant de pouvoir alimenter une IA avec ses données, il est de bon ton de les trier, pour éviter qu’un prompt conduise à la révélation d’une information sensible. Or ce travail de référencement est potentiellement très laborieux. Il serait plus rapide si les données sources étaient stockées en mode objet, une technique qui a le mérite d’enrichir au fil de l’eau une base de métadonnées décrivant les contenus. Quelques filtres dans un moteur de recherche permettraient d’extraire les seules informations non sensibles.

Hélas, la vectorisation en temps réel des nouveaux documents que les salariés et les applications créent en permanence s’accommode plutôt d’un stockage en mode fichier, sans métadonnées. Toujours pour des questions de performances.

Ce nouveau numéro de Storage démarre ainsi sur le sujet de la nécessité, malgré tout, de trier ses données en amont. Car il ne saurait y avoir d’IA de confiance sans données de confiance.

Pour autant, les fabricants de NAS ont parfaitement compris les problèmes de leurs utilisateurs. Nous évoquons ainsi dans nos pages les efforts que NetApp, Pure Storage, Dell, HPE ou encore Huawei déploient pour offrir à leurs clients des solutions capacitives, rapides, les moins chères possibles et qui, encore mieux, intègrent des fonctions de vectorisation allégeant aussi le travail en amont du tri des informations. 

Un terme qui revient souvent est celui du RAG, ou Retrieval Augmented Generation. Cette technique de vectorisation allégée ne permet pas de comprendre autant le sens des données d’une entreprise que celui des données qui ont servi à entraîner, ou à spécialiser, un LLM. Elle permet néanmoins d’inclure à la volée les données les plus récentes de manière transparente dans un prompt, pour en citer des extraits, à la manière d’un moteur de recherche, dans la réponse générée par une IA. Les développements les plus avancés en matière de fonctions de RAG sont ceux de Nvidia et chaque fournisseur de stockage n’hésite pas à mettre en avant sa collaboration avec le fabricant numéro 1 des GPU qui accélèrent l’IA.

Outre l’aspect logiciel, la collaboration entre Nvidia et les fabricants de stockage se joue aussi sur la validation des solutions techniques. Pour accélérer l’IA, il faut que la baie de disques communique rapidement et directement avec les GPU, ce qui passe notamment par des connexions en 100 ou 200 Gbit/s au protocole RoCE (RDMA over Converged Ethernet) peu usuelles dans le data center. Le stockage pour l’IA est en effet aussi une affaire de réseau de pointe.

Nous ne faisons pas l’impasse sur le si utile, mais si lent, stockage en mode objet. Un article dédié à ce mode d’accès fait le point sur ses limites, mais aussi ses avantages. En cloud, par exemple, pour un apprentissage au fil de l’eau, cette approche technique peut être cohérente.

Pour résumer l’ensemble, ce numéro de Storage se conclut sur tous les stress techniques que l’IA fait subir aux solutions de stockage, de sorte à éclairer les utilisateurs en amont de leur choix. Car, oui, l’IA demande autant des serveurs dédiés que de nouveaux équipements de stockage.

Téléchargez gratuitement
Storage 39