Avec Ring XP, Scality accélère le stockage objet pour l’IA

Proposer du stockage objet là où règne le stockage de fichiers

Dans les faits, l’inférence, l’amélioration ou l’entraînement de modèles d’IA s’alimentent plus souvent en données depuis un système de stockage en mode fichiers, structurellement plus rapide que le mode objet. Cependant, un système de fichiers pose la contrainte de fonctionner avec des volumes séparés d’autant plus nombreux que leur taille est limitée, généralement à plusieurs téraoctets, voire quelques pétaoctets.

Cette contrainte crée des silos de données qui ne peuvent être gérés qu’individuellement, ce qui alourdit la sélection des informations à donner à une IA. Les systèmes de stockage objet n’ont pas de contrainte de taille. Et, parmi eux, Ring XP de Scality ne poserait donc pas la contrainte des lenteurs d’accès.

Scality Ring est un système de stockage qui sert à déployer des datalakes dans plusieurs grandes entreprises des services financiers, de la génomique, des services publics, des services de renseignement, du voyage et des instituts de recherche. Parmi ses clients figurent le laboratoire de génomique français SeqOIA, une des cinq plus grandes banques américaines pour la détection des fraudes, l’un des plus grands assureurs américains pour l’optimisation du traitement des sinistres, ainsi que le premier fournisseur européen de services de voyage basés sur l’IA.

« En matière de stockage de données, vous avez 3 mesures de la performance […]. Il y a d’abord le débit […], le nombre d’accès par seconde […], puis il y a le temps unitaire d’un accès, la fameuse latence ».

« Certains clients demandaient à pouvoir entraîner des modèles à partir des données stockées sur leur solution Ring. Mais pour cela, il faut accéder aux données extrêmement vite. Ces clients ne savaient pas exactement ce qu’il leur fallait, mais en discutant avec eux, nous avons compris que la question du temps de latence était le détail le plus important », raconte Jérôme Lecat, PDG de Scality (en photo en haut de cet article).

« En fait, en matière de stockage de données, vous avez trois mesures de la performance et elles sont indépendantes. Il y a d’abord le débit, soit la quantité des données transportées par seconde ; cette mesure est définitivement très importante dans les médias, sur du très gros fichier. Vous avez le nombre d’accès par seconde ; nous sommes capables d’atteindre des dizaines de milliers d’accès par seconde en distribuant les opérations sur beaucoup de machines. Et puis il y a le temps unitaire d’un accès, la fameuse latence », poursuit Jérôme Lecat.

« Nous avons initialement dimensionné Ring par rapport au temps de réaction du cerveau humain. Le temps de réaction du cerveau humain, c’est grosso modo 10 millisecondes. L’humain ne sait pas faire grand-chose en si peu de temps et il lui faut plutôt 100 millisecondes pour faire une action. Aujourd’hui, dans le contexte de l’intelligence artificielle et de l’entraînement de modèles, notre système de stockage n’est plus utilisé par un cerveau humain, mais par des GPU qui travaillent à l’échelle des microsecondes. C’est ainsi que nous avons vu naître le besoin d’une technologie qui soit extrêmement basse latence », ajoute-t-il.

L’astuce : réduire les fonctionnalités du protocole S3

Préciser que la basse latence est respectée pour des objets de petite taille est important : les modèles puisent leurs informations dans des documents texte de quelques kilo-octets, susceptibles d’être éparpillés sur les disques. La latence étant le symptôme d’un accès à un nouveau document, elle est moins problématique dans les traitements qui supposent de lire seulement quelques fichiers de grande taille. Mais ce n’est pas ainsi que fonctionne l’IA.

AWS, qui a popularisé le stockage en mode objet dans les applications avec son service (et protocole S3) a planché avant Scality sur un stockage objet suffisamment rapide pour l’IA. Le résultat de ses efforts est aujourd’hui concrétisé par le service S3 Express One Zone disponible sur son cloud. Ring XP est pour sa part installable sur des serveurs dans un datacenter.

« Nous avons regardé comment AWS avait travaillé et nous avons été surpris de constater qu’ils ont finalement développé très peu de code. Ils se sont essentiellement contentés de limiter les possibilités de l’API S3 pour la rendre plus rapide. Nous avons donc nous aussi simplifié le protocole à l’extrême, de sorte que Ring XP ne sait plus interpréter que trois ordres : GET, PUT et DELETE. C’est largement suffisant dans le cadre de l’IA, car une application d’IA générative ou d’entraînement ne repose généralement pas sur son système de stockage pour indexer les données, elle préfère le faire elle-même », détaille Jérôme Lecat.

Selon lui, Ring XP se résume en définitive à une version de Ring dotée d’une API S3 si simplifiée que la latence de ses opérations atteint 500 microsecondes, quand le système fonctionne sur des SSD NVMe, soit les supports de stockage les plus rapides dans le commun des datacenters.

Outre Ring, lancé en 2010, Scality édite depuis 2021 Artesca, un autre système objet, plus simple et plutôt destiné au stockage des sauvegardes. Scality revendique des clients dans 60 pays, 700 millions d’utilisateurs dans le monde et un total de 6 exaoctets pris en charge. 30 % du chiffre d’affaires est réalisé avec les grandes entreprises et une part égale avec le secteur public. La moitié des plus grandes banques mondiales sont clientes, ainsi que plus de 50 institutions hospitalières et de nombreux opérateurs télécoms. L’entreprise est profitable et réalise une croissance annuelle de l’ordre de 20 % par an. Parmi les clients figure également une entreprise américaine travaillant dans le spatial.