Archivage : PoINT propose un cluster S3 constitué de… bandes
En cumulant jusqu’à 256 lecteurs de bande, Archival Gateway met sur le réseau un cluster de stockage S3 économique capable de référencer 50 milliards d’objets par bucket et d’y accéder en 230 Go/s.
PoINT, un éditeur allemand de solutions d’archivage, lancera d’ici au mois d’octobre un nouveau système de stockage objet qui enregistre ses données sur un cluster de disques et… de bandes !
« Notre idée est de proposer sur site exactement la même chose que propose AWS en ligne, avec ses solutions S3 et S3 Glacier », explique Thomas Thalmann, le PDG et cofondateur de PoINT, à propos de Archival Gateway – Unified Object Storage, le nom de son logiciel.
Comme S3, des disques très capacitifs, peu chers, mais pas très rapides, stockent les données froides. Ce sont celles que l’entreprise n’a a priori plus besoin d’ouvrir, mais qu’elle ouvre tout de même de temps en temps. Comme S3 Glacier, les bandes sont encore plus lentes que les disques, mais elles sont aussi encore moins chères.
PoINT affirme pouvoir restaurer des fichiers en quelques millisecondes depuis les disques et en quelques minutes depuis les bandes. Pour déterminer quels fichiers doivent se trouver sur l’un ou l’autre type d’unité, l’éditeur analyse une cinquantaine de paramètres, définis par autant de règles.
Par exemple, l’utilisateur peut vouloir que les fichiers d’un certain type migrent des disques aux bandes au bout de 30 jours d’inactivité. Que ceux d’un autre type disparaissent des archives après une date de péremption. Que d’autres soient enregistrés en même temps sur les deux supports, mais maintenus dans les disques seulement pendant la période nécessaire à leur analyse.
Comparativement aux services d’archivage en cloud public, la solution de PoINT garantit que les données ne sortiront pas des murs de l’entreprise. Elle est aussi plus pérenne : l’entreprise possède ses disques et ses bandes, alors qu’elle devrait sans cesse payer un loyer au fournisseur de cloud pour qu’il maintienne les données en ligne. Thomas Thalmann évoque aussi un prix moins cher, une sécurité meilleure, mais manque de données chiffrées pour illustrer ces déclarations.
230 Go/s avec uniquement des lecteurs de bandes
Le tour de force de la solution de Archival Gateway – Unified Object Storage est surtout technique : c’est la première solution de ce genre à écrire des buckets objets directement sur des bandes.
« En définitive, cette solution [Archival Gateway], sans même ses disques durs, peut atteindre un débit de 230 Go/s. »
Thomas ThalmannPDG et cofondateur de PoINT
La majorité des autres produits de stockage objet capables d’archiver leurs contenus sur des bandes le font en deux temps : ils font une sauvegarde de leurs contenus puis l’enregistrent au format fichier sur une bibliothèque de bande. Non seulement c’est plus lent, mais, surtout, les données restaurées à partir des bandes ne sont plus dans un format objet. Pour retrouver leurs métadonnées, leur accès S3, il faudrait les réinjecter dans le cluster S3. Cela fait beaucoup d’étapes quand une opération de restauration est généralement conditionnée par une urgence.
« Avec Archival Gateway, vous pouvez construire un cluster S3 de huit bibliothèques de bandes chacune avec huit lecteurs fonctionnant en parallèle. Comme nous faisons de l’Erasure Coding au niveau des bandes [répartition des fragments de données sur plusieurs bandes, N.D.R.], nous parallélisons les accès. En définitive, cette solution, sans même ses disques durs, peut atteindre un débit de 230 Go/s », argumente Thomas Thalmann.
En réalité, Archival Gateway – Unified Object Storage est la seconde version d’un produit lancé en Allemagne en 2018 : Archival Gateway (tout court). Lui n’avait pas de disques durs, mais déjà des bandes.
« Pour nos clients allemands, la nouveauté que nous annonçons est juste l’arrivée du tiering, avec moins de latence sur des disques et une cinquantaine de règles pour passer de l’un à l’autre. » Pour les entreprises de France et d’ailleurs, en revanche, Archival Gateway est une nouvelle solution de stockage S3 qui, grâce à l’infinité des cassettes que de l’on peut posséder, gère jusqu’à 50 milliards d’objets par bucket.
Archival Gateway se compose de nœuds passerelles qui présentent le stockage objet S3 sur le réseau. Chacun de ces nœuds accède à un maximum de huit lecteurs. Les passerelles sont secondées par des nœuds dits de base de données. Ils sont au maximum quatre par cluster. Ils servent à indexer les contenus, à piloter les lecteurs et à exécuter la console d’administration de la solution. Tous ces nœuds peuvent être virtualisés.
Un descendant de Philips et Sony
Derrière ces annonces, PoINT a une histoire qui mérite d’être racontée. Son produit Archival Gateway est une déclinaison d’une tout autre solution d’archivage, l’Everspan Gateway, que l’éditeur avait mis au point pour Sony en 2016. À l’époque, il ne s’agissait pas de disposer en cluster des lecteurs de bandes, mais 64 graveurs de disques optiques BluRay, pour une performance de 18 Go/s et l’indexation de 181 Po de données.
PoINT était d’autant plus légitime dans le développement de cette solution qu’il a écrit depuis le milieu des années 90 toute une kyrielle de logiciels de gravure de disques optiques, dont un, CDWrite qui avait connu un succès planétaire sous Windows. Avant de fonder PoINT en 1994, Thomas Thalmann et son équipe travaillaient chez Philips, où ils ont mis au point le principe du CD-R, le premier CD-ROM enregistrable.
Outre Archival Gateway, PoINT vend depuis 2007 un autre produit de stockage : PoINT Storage Manager. Celui-ci identifie sur le réseau les données de production, celles qui restent ouvertes de temps en temps et les fichiers froids qu’il faut juste conserver. Puis, selon ses analyses, il déplace les fichiers sur différentes catégories de baies de stockage et, en bout de chaîne, les archives sur des disques ou sur des bandes.
PoINT Storage Manager a deux originalités. La première est qu’il laisse sur les baies de productions des liens symboliques vers le nouvel emplacement des données, de sorte que les utilisateurs pensent que leurs fichiers n’ont pas bougé de place.
« Ce système nous permet, lorsqu’un utilisateur veut rouvrir un fichier, de ramener progressivement au plus près de lui les blocs qu’il consulte. »
Thomas ThalmannPDG et cofondateur de PoINT
« Attention ! Ce ne sont pas de simples liens symboliques au sens Windows ou Linux. Ce sont des liens qui utilisent les API propriétaires d’un très grand nombre de NAS (FAS de NetApp, FileMover de Dell EMC Unity, etc.) », prévient Thomas Thalmann. « Ce système nous permet, lorsqu’un utilisateur veut rouvrir un fichier, de ramener progressivement au plus près de lui les blocs qu’il consulte. Nos archives sont immuables pour résister aux ransomwares. Si l’utilisateur modifie le contenu, nous générons une nouvelle archive qui utilise toujours le même lien. »
La seconde originalité est le format même de l’archive : il s’agit d’une image-disque, avec un système de fichiers UDF complet à l’intérieur.
« Pour schématiser, les solutions d’archivage habituelles vont empaqueter vos données dans un fichier .zip ou équivalent. Le problème d’une archive .zip est que vous n’avez que des fichiers bruts à l’intérieur. En empaquetant ces fichiers dans une image-disque, nous archivons avec eux leurs dates de création, de modification, de lecture et aussi leur auteur et leurs droits d’accès », conclut Thomas Thalmann, en se félicitant de n’avoir pas vu ailleurs un éditeur qui ait eu la même idée.
