Stockage parallèle : WekaIO concentre ses efforts sur l'IA et les sciences de la vie

Le PDG de WekaIO, Liran Zvibel, a une double stratégie pour promouvoir de son système de fichiers parallèle Matrix: il entend d’une part multiplier les relations avec les grands partenaires et d’autre part s’attaquer aux besoins de stockage des applications de machine learning et d’intelligence artificielle.

Zvibel a souligné les partenariats récents noués avec Hewlett Packard Enterprise, Mellanox et Amazon Web Services (AWS) comme autant de tremplins pour le lancement du système de fichiers parallèle Matrix de WekaIO. 

Il explique qu’il considère Matrix comme une solution adaptée aux applications traditionnellement consommatrices de stockage NAS, telles que les applications de rendu de médias, les applications de génomique ou du domaine des sciences de la vie, mais qu’il ne ferme pas la porte à d’autres marchés qui pourraient contribuer au développement de la start-up. Cela inclut par exemple les applications d’IA dont l’un des défis est de manipuler un grand nombre de petits fichiers. 

Le système de fichiers évolutif de WekaIO combine des ressources de stockage sur site et dans le cloud. Il s’appuie sur des ressources de stockage flash à haute performance pour les données chaudes et déverse automatiquement les données froides vers des services objet compatibles avec Amazon Simple Storage Service (S3) ou avec OpenStack Swift.

WekaIO a son siège social à San José, Californie, mais sa R&D est basée à Tel Aviv, en Israël. Cofondateur de la firme et ex-CTO, Zvibel a pris la fonction de CEO à la fin de l’année dernière. Il a remplacé l’ancien PDG Michael Raam, qui avait rejoint WekaIO à la fin de 2015 pour assurer le démarrage du bureau américain.

Zvibel a accepté de répondre aux questions de nos confrères de SearchStorage.com pour discuter de l’actualité récente de WekaIO, des tendances observées par la firme et de ses prévisions pour l’avenir.

SearchStorage.com : Quels sont les développements les plus importants qui se sont produits depuis que WekaIO a lancé son système de fichiers Matrix en juillet ?

Liran Zvibel : La chose la plus excitante pour nous en tant que société est notre accord avec HP Enterprise. Ils revendent WekaIO sur leur plateforme. Nous allons devenir leur système de fichiers de référence pour la haute performance. Nous travaillons directement avec les groupe HPC [high-performance computing] et machine learning. Nos caractéristiques répondent aux besoins de nombre de leurs clients. C’est un partenariat sur lequel nous travaillons depuis plus d’un an.

Un autre grand changement est la collaboration avec Mellanox autour d’InfiniBand. Nous supportons désormais Ethernet et InfiniBand, et nous constatons que beaucoup des cas d’utilisation les plus intéressants pour nous sont en fait basés sur InfiniBand, pour les charges de travail les plus exigeantes dans le domaine des sciences de la vie ou de l’apprentissage machine. 

La chose importante que nous avons ajoutée sur le cloud public, c’est que nous sommes officiellement sur la marketplace AWS. Maintenant, les clients peuvent monter leur propre cluster WekaIO via leur compte AWS, et tout est automatiquement généré.

Parmi les nouveautés, il y a aussi l’arrivée de notre fonction de snapshot vers les services de stockage objet. Les clients le demandent depuis des années à d’autres fournisseurs de stockage. Lorsque vous faites du tiering vers un stockage objet, vous pouvez maintenant prendre un instantané et le pousser jusqu’au stockage objet et le remonter sans avoir besoin du cluster d’origine. Nous vous permettons ainsi de tirer parti du stockage objet en cloud comme une solution de stockage tierce et de disposer d’un mécanisme de reprise après sinistre simple, si vous pouvez accéder à ces données depuis un autre centre de données. 

Cela fonctionne aussi bien avec un stockage obet local qu’avec le cloud public. Nous permettons le tiering vers AWS S3 et il est possible de pousser un snapshot vers S3.L’intérêt est que l’on peut alors faire du cloud bursting. Si vous lancez une application et que vous réalisez que vous avez besoin de beaucoup plus de ressources, vous pouvez prendre un snapshot, le pousser sur AWS S3 et monter un cluster de calcul sur AWS. Comme Matrix scale linéairement avec le nombre de nœuds, un doublement du nombre d’instances vous permettra de multiplier par deux les performances et donc d’obtenir des résultats en deux fois moins de temps.

SearchStorage.com : Pensez-vous travailler en partenariat avec d’autres fournisseurs de services cloud ?

Zvibel : Nous discutons actuellement activement avec les autres fournisseurs de cloud computing. Notre souhait est de supporter les trois principaux, afin que vous puissiez migrer les charges de travail entre AWS, [Google Cloud Platform] GCP et [Microsoft] Azure. Il y a pas mal de détails commerciaux à régler. Ce n’est pas seulement de la technologie.

SearchStorage.com : Combien de clients avez-vous ?

Zvibel : Nous avons pour l’instant une dizaine de clients, et nous en avons probablement 40 à des stades avancés de PoC [proof-of-concept].

SearchStorage.com : Quels sont les problèmes que vos clients tentent de résoudre ?

Zvibel : Pour le premier cas d’utilisation, nous nous concentrons sur les clients qui passent des CPU aux GPU [unités de traitement graphique]. Les gens se sont rendu compte il y a approximativement trois ou quatre ans que les GPU sont beaucoup plus efficaces pour faire fonctionner des réseaux d’intelligence artificielle. Les fournisseurs vendent environ 100 000 $ des serveurs remplis de GPU, et les clients veulent pouvoir les mettre à l’échelle. Ils ont dépensé des millions pour le calcul, mais ces ressources tournent au ralenti, car le stockage ne suit pas. [Avec Matrix] on leur montre qu’on peut remplir leurs tuyaux. Beaucoup de ces cas d’utilisation reposent sur des infrastructures InfiniBand.

L’entraînement [des réseaux d’intelligence artificielle] passe aujourd’hui en revue de grands nombres de minuscules fichiers — des extraits de texte, des échantillons de voix, des images. La génération précédente des systèmes de fichiers parallèles peut fournir des débits élevés sur d’énormes fichiers, mais elle ne délivre pas les performances adéquates avec de petits fichiers, parce que la gestion des métadonnées n’est pas assez bonne. Nous montrons à ces clients que nous pouvons leur fournir le débit dont ils ont besoin.

Parmi les autres types de clients que nous recherchons figurent les clients du secteur des sciences de la vie. Les nouveaux systèmes d’analyse de données génomiques contiennent des quantités énormes de très petits fichiers. Et les anciens systèmes de fichiers ne peuvent tout simplement pas les gérer. Nous avons résolu les problèmes de métadonnées et nous pouvons lire et écrire ces petits fichiers de façon extrêmement efficace. Nous essayons donc de montrer à ces clients, qui s’appuient encore massivement sur des CPU pour leurs calculs, que nous pouvons leur permettre de faire évoluer leurs architectures de manière linéaire.

SearchStorage.com : WekaIO dispose-t-il d’un véritable système de fichiers parallèle avec des E/S simultanées et coordonnées entre les clients et le stockage ?

Zvibel : On pourrait décrire notre système de fichiers comme doublement parallèle. Nous avons tout d’abord un système de fichiers parallèle optimisé pour la Flash pour les données les plus chaudes. Ensuite, entre l’étage de flash et le stockage objet, nous avons aussi un système de fichiers parallèle. Lorsque vous traitez un objet volumineux, on le découpe en petits morceaux. Chaque serveur du cluster WekaIO gère une partie différente de ce fichier, et le dépose ou de récupère depuis le stockage objet en parallèle des autres nœuds.

SearchStorage.com : Quelles sont les principales distinctions entre le système de fichiers WekaIO Matrix et Lustre ou GPFS, qu’IBM appelle maintenant Spectrum Scale ?

Zvibel : Nous pouvons fournir un débit très élevé pour des quantités très élevées de petits fichiers. L’autre différence, c’est que nous avons levé toutes les limites relatives aux métadonnées qu’avaient ces systèmes de fichiers. Nous pouvons gérer des répertoires de plusieurs milliards de fichiers, et ces répertoires délivrent des performances aussi élevées que des dossiers avec un millier de fichiers. Si vous accédez à un système Lustre, par exemple, et que vous essayez de mettre un million de fichiers dans ce répertoire — et de nos jours, les gens le font —, les opérations sur les métadonnées deviennent tellement lentes qu’elles sont pratiquement inutilisables.

SearchStorage.com : Qu’est ce que la plupart de vos clients potentiels utilisent actuellement ? 

Zvibel : Dans les centres de supercalcul standard, nous sommes mis en compétition avec Lustre. Nous voyons aussi beaucoup de GPFS. Pour l’apprentissage machine, beaucoup s’appuient sur du stockage 100 % Flash même s’il n’est pas parallèle et pas nécessairement distribué. Cela permet de résoudre les problèmes de débit pour les petits fichiers jusqu’à un certain point, mais cela ne « scale » pas. Beaucoup ont démarré des projets avec du stockage flash traditionnel, mais ont ensuite des soucis de performance.

Dans les sciences de la vie, on voit beaucoup d’Isilon. Si les applications sont « I/O-bound », les systèmes Isilon Nitro 100 % Flash repoussent un peu les limites, mais on finit toujours par avoir des limites avec Nitro. Beaucoup de clients ont encore des baies Panasas. Je ne pense pas qu’ils les envisagent pour de futurs achats, mais ce n’est pas comme si Panasas avait disparu du marché.

SearchStorage.com : Envisagez-vous d’aller au-delà du marché du calcul haute performance et des sciences de la vie pour vous intéresser à celui du stockage d’entreprise plus généraliste ?

Zvibel : L’IA va aller partout. L’IA est le nouveau Big Data. Les projets Hadoop ont débuté dans le monde des acteurs de l’hyperscale, puis ont atteint celui de l’entreprise. Toutes les entreprises se rendent maintenant compte qu’elles doivent commencer à résoudre les mêmes problèmes que ceux que les hyperscalers ont résolus. Et, à terme, elles auront les mêmes problèmes d’entrées/sorties. C’est cela qui sera notre ticket d’entrée le plus simple vers le marché de l’entreprise.

SearchStorage.com : Quelles sont vos prévisions pour le stockage de cette année ?

Zvibel : Ce sera l’année où de plus en plus de gens vont se lancer dans des projets d’IA sérieux. L’autre grande tendance est que de plus en plus d’organisations vont commencer à tirer parti du cloud pour son élasticité avant éventuellement d’envisager une bascule complète sur le cloud. Une telle bascule vers le nuage sera extrêmement difficile. Ce que nous verrons sans doute, c’est que certaines personnes vont synchroniser leurs données avec le cloud ou y déplacer tout ce qui n’a pas besoin de fonctionner en permanence — comme le reporting mensuel ou la reprise après sinistre…