Stockage : Croit rend intuitifs les compliqués Ceph et DAOS
La startup allemande propose aux entreprises des plateformes de stockage très performantes à prix cassé. Elles sont basées sur les SDS Open source Ceph et DAOS, dont la complexité est dissimulée derrière une interface très visuelle.
Proposer la version la plus ergonomique possible de Ceph et DAOS, les systèmes de stockage Open source les plus complexes. Tel est le savoir-faire que revendique Croit, une startup allemande qui a bien l’intention de percer sur le marché des solutions de stockage haut de gamme.
« Comparativement à NetApp, Dell, HPE, Hitachi Vantara et autres Pure Storage, nous proposons des solutions aussi performantes et riches en fonctions. Mais elles sont moins chères, avec juste un prix d’achat au nombre de nœuds. Elles peuvent évoluer en performances et en capacité à volonté. Elles ne se périment pas, car nous les mettons sans cesse à jour. Quant au support, son prix reste le même au-delà de la période contractuelle », argumente Andy Muthmann (en photo), le directeur général et cofondateur de Croit.
La solution Ceph « la plus simple et la plus complète »
Créé au tout début des années 2010 par un universitaire comme un système capable de transformer un cluster de serveurs Linux en baie de stockage, Ceph est certainement le plus ancien SDS Open source. Principalement développé par Red Hat depuis 2014 et composant essentiel de plusieurs systèmes de cloud privé – dont OpenStack, OpenShift et Apache CloudStack –, Ceph parallélise et réplique les écritures sur les nœuds de son cluster, qu’il s’agisse d’accès en mode bloc, fichier ou objet.
Ceph est considéré comme un système très efficace pour déployer de très grandes pseudo-baies de stockage, de plusieurs Po, dont les performances ne chutent pas au fur et à mesure que la capacité interne augmente. L’un de ses grands mérites est qu’il s’occupe tout seul de sa maintenance quand un composant tombe en panne ou qu’un nœud est ajouté : son rééquilibrage automatique évite les temps d’arrêt ; les sauvegardes et les restaurations sont lancées sans que les utilisateurs s’en rendent compte.
Pour autant, l’utilisation du système est généralement cantonnée aux experts de Linux, tant ses outils d’administration sont complexes par rapport à ceux des baies de stockage commerciales.
« Notre mission est donc d’identifier et d’adapter des technologies open source intelligentes, pour permettre aux entreprises et à leurs employés de les déployer rapidement […]. »
Andy MuthmannDirecteur général et cofondateur de Croit
C’est sur ce point que Croit revendique faire des miracles. « Nous aimons apprendre et jouer avec les technologies et les mettre à la disposition d’un public plus large sous la forme de solutions esthétiques et conviviales. Notre mission est donc d’identifier et d’adapter des technologies open source intelligentes pour permettre aux entreprises et à leurs employés de les déployer rapidement, de manière fiable et rentable », lance Andy Muthmann en amont d’une présentation.
L’interface développée par Croit s’exécute sur un serveur local. Elle présente, dans une colonne à gauche, la liste des fonctions d’administration et, à droite, des panneaux très graphiques pour chacun de leurs paramètres.
En quelques clics, l’administrateur transforme des serveurs physiques fraîchement déballés en nœuds de stockage. En moins d’une heure – contre une semaine selon Croit –, un très grand cluster de plusieurs Po serait ainsi formaté avec des volumes en mode blocs partagés en RDB (Rados Block Device) ou en iSCSI, d’autres en mode fichiers partagés en NFS, SMB ou CephFS, et d’autres encore en mode objet ; qui sont atteignables via S3/Swift (l’implémentation d’OpenStack).
Non seulement l’interface permet de régler à la souris les accès, les pilotes Kubernetes ou VMware, les sauvegardes et les niveaux de qualité de service, mais elle permet aussi d’en observer les statistiques avec des graphiques. Croit revendique de proposer la version de Ceph la plus complète au monde.
Et, selon la startup, une telle ergonomie permettrait de faire sortir Ceph des centres de recherche où il est souvent cantonné. « Les entreprises peuvent désormais s’en servir comme lac de données, pour stocker des médias, comme dépôt géant pour les sauvegardes (…). Nous pensons que toutes les technologies intelligentes, quelle que soit leur complexité, devraient être facilement utilisables par toutes les entreprises pour créer de meilleurs produits et services au bénéfice de tous », commente Andy Muthmann.
DAOS pour des clusters de stockage capables d’atteindre 6 To/s
Pour autant, Ceph ne supporte rien d’autre qu’un équipement serveur générique. Il ne prend en compte aucune accélération matérielle, que ce soit en termes de supports de stockage (NVMe) ou d’interconnexion (cartes réseau accélérées, ou SmartNIC). C’est afin de proposer une plateforme de stockage très performante que Croit a décliné son savoir-faire sur DAOS, un SDS mit au point par Intel pour exploiter plusieurs de ses composants : les puces accélératrices IPU de ses cartes réseau et ses mémoires Optane en particulier.
« DAOS se distingue par des performances incroyables. Selon des benchmarks officiels IO500, il s’agit même de la solution la plus rapide du monde, avec des débits mesurés à plus de 6 To/s ! », s’enthousiasme Andy Muthmann.
En mariant son interface avec DAOS, Croit entend proposer le meilleur des baies NAS massivement parallélisées et distribuées pour le supercalcul et les moteurs de Machine learning.
La puissance de DAOS relève de plusieurs caractéristiques. Pour commencer, le système supporte les protocoles les plus efficaces, décodés à la volée par une puce IPU : accès en mode bloc via du NVMe/RoCE, mais aussi via un réseau Infiniband (classique sur supercalculateurs) ou encore Omnipath (équivalent d’Infiniband chez Intel).
Ensuite, comme Ceph, DAOS répartit ses écritures entre tous les nœuds et s’arrange pour déployer suffisamment de copies des données dans les caches des nœuds pour que n’importe quel serveur applicatif puisse accéder à ses informations avec un minimum de latence. Mais la latence est d’autant plus réduite ici que ce routage des informations est aussi accéléré par les puces IPU présentes dans chaque nœud. Le routage des paquets se ferait par ailleurs de manière plus fine qu’avec l’algorithme de Ceph.
Troisième avantage, DAOS indexe toutes les données à la volée dans des caches extrêmement rapides. Soit parce qu’ils sont présents sous la forme de modules Optane. Soit parce qu’ils sont interconnectés via un réseau CXL, un nouveau dispositif présent sur les dernières générations de processeurs x86 et qui consiste à pouvoir mettre en réseau des extensions PCIe.
Enfin, DAOS est essentiellement un système de fichiers qui fonctionne comme un système de stockage objet. Du point de vue des serveurs applicatifs, il s’apparente à un NAS, mais toute la première partie fichiers est en fait décodée au niveau des serveurs applicatifs, qui doivent eux-mêmes être équipés d’un agent logiciel DAOS. Et cet agent est livré par Croit avec des pilotes spécialement optimisés pour certaines charges de travail : POSIX (c’est-à-dire juste du fichier Linux), Lustre (le système de fichiers des supercalculateurs), HDFS, Apache Spark, MPI-I/O et, bien entendu, S3.
Pour des performances maximales, Croit recommande que les serveurs applicatifs soient eux-mêmes équipés de cartes réseau SmartNIC d’Intel. Pour l’heure, Croit ne propose que la partie logicielle. Mais la startup nous a révélé qu’elle planchait sur la fourniture d’équipements préinstallés. Sans pour autant se prononcer sur une date.
