Actualites

Archivage : Versity s’attaque aux très gros volumes de données

Spécialisée dans la conservation d’Exaoctets de données, la startup propose une solution qui n’est plus basée sur MinIO, mais dispose d’un nouveau moteur S3 sous licence GPL.

Cet article est extrait d'un de nos magazines. Téléchargez gratuitement ce numéro de : STORAGE: Storage 37 – Le retour en grâce des sauvegardes
Pierre Berlemont
par
Publié le: 28 sept. 2023

Versity est une entreprise spécialisée dans l’archivage de larges volumes de données, grâce à son système de stockage qui travaille aussi bien sur bandes qu’en mode objet. La dizaine de Po est un minimum chez ses clients. En 2023, sa base installée était de 2 Exaoctets. Et cela ne ralentit pas : « nous menons actuellement deux projets à 1 Exaoctet et la première phase d’un autre projet à 1,5 Exaoctet qui comptera cinq phases », indique Bruce Gilpin, cofondateur et président de Versity, lors d’un récent IT Press Tour aux USA.

L’entreprise, fondée en 2011, travaille avec les grands centres de calcul, comme Pawsey en Australie. Cray est un revendeur de sa solution depuis 2013. L’entreprise est devenue profitable en 2015, sans besoin de faire appel à des investisseurs. Les fonds sont détenus en majorité par les employés et dirigeants (15 %), ce qui rend la compagnie indépendante. En 2021, elle est distribuée par Dell. Elle collabore également avec Spectra Logic et réalise 50 % de chiffre d’affaires aux États-Unis et l’autre moitié dans le reste du monde. Sa croissance est organique, sans acquisition externe.

Dans son architecture de conservation des données, Versity a travaillé sur trois secteurs : les namespaces (passant de 100 millions à 10 milliards, copie brute et restauration); le parallélisme (données, mais aussi métadonnées, code optimisé pour le stockage sur bande) et une architecture modulaire plus facile à installer et à administrer.

Une technologie issue de Sun

Techniquement, l’orchestration des solutions de Versity est assurée par le logiciel ScoutAM (Scalout Archive Manager) avec le système de fichiers open source ScoutFS, qui supporte 1 milliard de métadonnées. ScoutAM dirige automatiquement les données sur les supports les plus adaptés, en suivant les consignes de l’administrateur en termes de performances ou de coûts. À noter que l’architecture ScoutAM est entièrement logicielle et ne nécessite pas de matériel spécifique.

Ce système d’archivage est dérivé de SAM-QFS (Storage Archive Manager-Quick File System), mis au point par Sun en 2008 et, depuis, disponible en open source. Par rapport à son précédent produit VSM (Versity Storage Manager), déjà basé sur SAM-QFS, Versity a intégralement réécrit ScoutFS en langage GO, bien plus adapté aux environnements distribués de grande taille.

Une solution sous licence GPL

Versity a de plus développé pour ScoutFS sa propre version de S3, afin de stocker et de récupérer facilement les données sur un système compatible avec ce protocole objet.

Réécrire S3 ne faisait pas partie des objectifs initiaux. VSM utilisait le système de MinIO, mais Versity a moyennement apprécié que MineIO ait changé la licence de son système de stockage Kubernetes, pour passer d’Apache 2.0 à une licence AGPL v3 (Affero General Public License).

« VSM utilisait MineIO et nous n’avons pas trouvé de solution de remplacement. Nous en avons donc construit une », explique Bruce Gilpin. « AGPL est une pilule empoisonnée parce que tout le travail dérivé doit être aussi AGPL. Les entreprises qui bâtissent des solutions personnalisées sur notre produit ne l’autoriseraient pas », poursuit-il.

Seule solution pour éviter ce problème : les entreprises qui personnalisent ScoutFS devraient payer AGPL afin d’obtenir une licence privée. De fait, ScoutFS est disponible sous une simple licence GPL, sans que quiconque ait à redistribuer les fonctionnalités ajoutées.

Pour approfondir sur Archivage