La startup MemVerge planche sur des serveurs à 768 To de RAM
Prenant la forme d’un cluster de 128 nœuds de 6 To interconnectés en RoCE, la solution présente néanmoins un seul pool de mémoire aux applications.
La startup californienne MemVerge arrive dans le domaine des clusters avec l’ambition de proposer des capacités mémoire record, en interconnectant dans un même pool des nœuds remplis de barrettes très capacitives Optane DC PMEM d’Intel. Les applications visées sont les entrepôts de données, des bases de données In-Memory ou encore des moteurs de Machine Learning qui ont besoin de beaucoup de mémoire et qui se heurtent au prix prohibitif des DRAM.
En utilisant des Optane DC PMEM, MemVerge peut ainsi proposer des capacités de 6 To de RAM par nœud pour un prix à priori raisonnable, bien qu’aucun tarif n’ait cependant été communiqué. MemVerge ambitionne de vendre des clusters qui offriraient un pool unique de 768 To de RAM aux applications. Fonctionnement en mémoire oblige, l’accès aux données serait inférieur à une microseconde, soit dix fois mieux qu’avec les meilleures unités de stockage, à savoir les Optane SSD en NVMe qui affichent une latence de 10 microsecondes.
« Nous avons anticipé de baser notre solution sur les modules Optane DC PMEM dès que nous en avons entendu parler », commente Charles Fan, le CEO de MemVerge, qui indique développer sa solution depuis 2017, pouvoir en présenter une préversion d’ici à juin prochain et être en mesure de la commercialiser en 2020.
Charles Fan n’est autre que l’ancien patron du stockage chez VMware. C’est à lui que l’on doit le développement de VSAN, la couche qui permet de construire des infrastructures hyperconvergées à partir des hyperviseurs ESX.
Quelques 512 Go de cache, 6 To de RAM et RoCE 100 Gbits/s par noeud
La technologie de MemVerge repose sur un système d’exploitation maison, le Distributed Memory Object OS (DMO) qui permet de constituer des clusters de 128 nœuds capables de partager leurs mémoires et leurs disques dans un seul nom de domaine.
Pour tirer parti de ce mode en cluster, les applications n’ont pas besoin d’être réécrites et voient les ressources de mémoire comme de stockage comme si elles appartenaient à un seul serveur. DMO a été écrit sur la base du kit DPDK d’Intel qui sert à contrôler la communication entre les nœuds. L’OS de MemVerge propose néanmoins des APIs pour que les développeurs puissent optimiser la parallélisation des calculs et des accès.
L’utilisation des Optane DC PMEM est entièrement gérée par l’OS. Au sein de chaque nœud, DMO fait fonctionner ensemble des barrettes de DRAM et des Optane DC PMEM, afin que les premières fassent office de cache pour les secondes. Les nœuds contiendront chacun jusqu’à 512 Go de DRAM.
Les Optane seraient quant à elles utilisées dans les trois modes possibles imaginés par Intel. En mode Volatile Memory, elles fonctionnent comme des DRAM standard, si ce n’est qu’elles offrent deux fois plus de capacité pour le même prix. En mode App Direct, elles sont toujours adressées comme des mémoires (le processeur lit et écrit leurs octets) mais résistent au redémarrage. Cela évite par exemple de recharger toute une base depuis les disques après la mise à jour d’un noyau ou d’un firmware.
En mode Block Storage, enfin, les Optane sont utilisées comme des disques mais à très faible latence, ce qui permet de s’en servir comme d’un cache très rapide pour les opérations de lecture/écriture sur de véritables disques. A ce titre, chaque nœud MemVerge doit contenir jusqu’à 360 To de stockage brut, disposés sur 24 disques SSD de 15 To chacun. Au total, le stockage grimperait ainsi à 50 Po.
Les nœuds seront interconnectés par une infrastructure RoCE (RDMA over Converged Ethernet), constituée par deux cartes Ethernet 100 Gbits/s par nœud. MemVerge promet que chaque nœud pourrait lire des données à la vitesse de 72 Go/s.
