Avec Ring XP, Scality accélère le stockage objet pour l’IA
Capable de descendre à 500 microsecondes de latence sur des SSD NVMe, la nouvelle déclinaison du système Ring devient comparable aux systèmes de fichiers utilisés en IA, avec l’avantage supplémentaire de ne pas avoir de limite de taille.
Scality lance Ring XP, une version de son système de stockage objet Ring qui serait assez rapide pour alimenter en données les outils d’IA. Utilisé sur des serveurs dotés de SSD NVMe, le système descend à une latence d’écriture (PUT) et de lecture (GET) de 500 microsecondes pour des objets de 4 Ko (environ une page d’un document PDF). Et ce, que Ring XP soit utilisé avec des applications d’IA génératives conçues à façon, ou avec des systèmes qui vectorisent les données pour enrichir les connaissances d’un LLM.
D’ordinaire, les systèmes de stockage objet sont boudés en IA, car jugés trop peu performants. Et, selon les spécialistes, c’est bien dommage, car ils offrent bien plus de possibilités que les systèmes de fichiers majoritairement utilisés. Notamment pour trier les données à donner à une IA ou encore toutes les regrouper dans un seul domaine sans limites de taille.
« Le stockage objet devient incontournable dès lors qu’il est question d’injecter des exaoctets de données dans le pipeline de l’IA. »
Giorgio RegniDirecteur technique et cofondateur, Scality
« Ring XP surpasse les performances du service en cloud Amazon S3 Express One Zone, la seule tentative jusque-là pour mettre le stockage objet au service de l’IA. Ring XP est la première solution de stockage objet pour datacenters à atteindre de tels niveaux de performance – jusque-là réservés aux systèmes de fichiers et autres baies SAN 100 % flash – tout en offrant les avantages inhérents au stockage objet en matière d’évolutivité, de simplicité, d’accès API, de sécurité et de coût », argumente un porte-parole de l’éditeur.
Scality met également en avant le classement récent de Ring au sommet du GigaOm Radar 2024 dans la catégorie des solutions de stockage objet pour entreprises. Loin devant 17 solutions concurrentes, Ring XP obtient les scores les plus élevés dans les catégories « Fonctionnalités clés », « Fonctionnalités émergentes » et « Critères commerciaux ».
« Le stockage objet devient incontournable dès lors qu’il est question d’injecter des exaoctets de données dans le pipeline de l’IA. Nous avons fait évoluer le stockage objet le plus complet et le plus flexible au monde pour en faire le plus rapide », vante Giorgio Regni, directeur technique et cofondateur de Scality.
Proposer du stockage objet là où règne le stockage de fichiers
Dans les faits, l’inférence, l’amélioration ou l’entraînement de modèles d’IA s’alimentent plus souvent en données depuis un système de stockage en mode fichiers, structurellement plus rapide que le mode objet. Cependant, un système de fichiers pose la contrainte de fonctionner avec des volumes séparés d’autant plus nombreux que leur taille est limitée, généralement à plusieurs téraoctets, voire quelques pétaoctets.
Cette contrainte crée des silos de données qui ne peuvent être gérés qu’individuellement, ce qui alourdit la sélection des informations à donner à une IA. Les systèmes de stockage objet n’ont pas de contrainte de taille. Et, parmi eux, Ring XP de Scality ne poserait donc pas la contrainte des lenteurs d’accès.
Scality Ring est un système de stockage qui sert à déployer des datalakes dans plusieurs grandes entreprises des services financiers, de la génomique, des services publics, des services de renseignement, du voyage et des instituts de recherche. Parmi ses clients figurent le laboratoire de génomique français SeqOIA, une des cinq plus grandes banques américaines pour la détection des fraudes, l’un des plus grands assureurs américains pour l’optimisation du traitement des sinistres, ainsi que le premier fournisseur européen de services de voyage basés sur l’IA.
« En matière de stockage de données, vous avez 3 mesures de la performance […]. Il y a d’abord le débit […], le nombre d’accès par seconde […], puis il y a le temps unitaire d’un accès, la fameuse latence ».
Jérôme LecatPDG, Scality
« Certains clients demandaient à pouvoir entraîner des modèles à partir des données stockées sur leur solution Ring. Mais pour cela, il faut accéder aux données extrêmement vite. Ces clients ne savaient pas exactement ce qu’il leur fallait, mais en discutant avec eux, nous avons compris que la question du temps de latence était le détail le plus important », raconte Jérôme Lecat, PDG de Scality (en photo en haut de cet article).
« En fait, en matière de stockage de données, vous avez trois mesures de la performance et elles sont indépendantes. Il y a d’abord le débit, soit la quantité des données transportées par seconde ; cette mesure est définitivement très importante dans les médias, sur du très gros fichier. Vous avez le nombre d’accès par seconde ; nous sommes capables d’atteindre des dizaines de milliers d’accès par seconde en distribuant les opérations sur beaucoup de machines. Et puis il y a le temps unitaire d’un accès, la fameuse latence », poursuit Jérôme Lecat.
« Nous avons initialement dimensionné Ring par rapport au temps de réaction du cerveau humain. Le temps de réaction du cerveau humain, c’est grosso modo 10 millisecondes. L’humain ne sait pas faire grand-chose en si peu de temps et il lui faut plutôt 100 millisecondes pour faire une action. Aujourd’hui, dans le contexte de l’intelligence artificielle et de l’entraînement de modèles, notre système de stockage n’est plus utilisé par un cerveau humain, mais par des GPU qui travaillent à l’échelle des microsecondes. C’est ainsi que nous avons vu naître le besoin d’une technologie qui soit extrêmement basse latence », ajoute-t-il.
L’astuce : réduire les fonctionnalités du protocole S3
Préciser que la basse latence est respectée pour des objets de petite taille est important : les modèles puisent leurs informations dans des documents texte de quelques kilo-octets, susceptibles d’être éparpillés sur les disques. La latence étant le symptôme d’un accès à un nouveau document, elle est moins problématique dans les traitements qui supposent de lire seulement quelques fichiers de grande taille. Mais ce n’est pas ainsi que fonctionne l’IA.
AWS, qui a popularisé le stockage en mode objet dans les applications avec son service (et protocole S3) a planché avant Scality sur un stockage objet suffisamment rapide pour l’IA. Le résultat de ses efforts est aujourd’hui concrétisé par le service S3 Express One Zone disponible sur son cloud. Ring XP est pour sa part installable sur des serveurs dans un datacenter.
« Nous avons regardé comment AWS avait travaillé et nous avons été surpris de constater qu’ils ont finalement développé très peu de code. Ils se sont essentiellement contentés de limiter les possibilités de l’API S3 pour la rendre plus rapide. Nous avons donc nous aussi simplifié le protocole à l’extrême, de sorte que Ring XP ne sait plus interpréter que trois ordres : GET, PUT et DELETE. C’est largement suffisant dans le cadre de l’IA, car une application d’IA générative ou d’entraînement ne repose généralement pas sur son système de stockage pour indexer les données, elle préfère le faire elle-même », détaille Jérôme Lecat.
Selon lui, Ring XP se résume en définitive à une version de Ring dotée d’une API S3 si simplifiée que la latence de ses opérations atteint 500 microsecondes, quand le système fonctionne sur des SSD NVMe, soit les supports de stockage les plus rapides dans le commun des datacenters.
Outre Ring, lancé en 2010, Scality édite depuis 2021 Artesca, un autre système objet, plus simple et plutôt destiné au stockage des sauvegardes. Scality revendique des clients dans 60 pays, 700 millions d’utilisateurs dans le monde et un total de 6 exaoctets pris en charge. 30 % du chiffre d’affaires est réalisé avec les grandes entreprises et une part égale avec le secteur public. La moitié des plus grandes banques mondiales sont clientes, ainsi que plus de 50 institutions hospitalières et de nombreux opérateurs télécoms. L’entreprise est profitable et réalise une croissance annuelle de l’ordre de 20 % par an. Parmi les clients figure également une entreprise américaine travaillant dans le spatial.
