Avant-première : Lenovo aura des serveurs très performants, très denses

Un système de refroidissement par eau inédit

D’ordinaire, il n’est pas possible de mettre autant de serveurs dans si peu d’espace, car la chaleur dégagée est tellement importante qu’il faudrait refroidir les machines depuis des turbines d’air avec une taille phénoménale, inversement proportionnelle à celle du petit volume qu’occupent les serveurs. Et la problématique s’amplifie même désormais à chaque génération de puces : les derniers Xeon 6P ont une enveloppe thermique de 500 watts, alors que leurs prédécesseurs plafonnaient à 350 watts.

Le refroidissement à eau, qui consiste à faire circuler le liquide sur les composants les plus chauds et qui a la particularité d’arracher bien mieux les calories que ne le fait l’air, élimine la contrainte d’aménager un immense volume de refroidissement. Il présente aussi l’intérêt non négligeable de consommer bien moins d’énergie :

« La pompe, qui fait circuler l’eau dans les serveurs depuis un échangeur thermique installé au bout de la rangée, consomme une électricité qui équivaut à moins de 1% de l’électricité nécessaire aux serveurs. Alors que les plus optimisés des ventilateurs consomment l’équivalent de 30% de ce que consomment les serveurs », explique Patrick Moakley. 

Selon lui, les studios Dreamworks, qui ont pu tester en avant-première le nouveau système de Lenovo, auraient constaté une réduction de la facture électrique de 40% pour un travail donné, par rapport à une précédente génération de cluster de calcul refroidi par air. Ces 40% résulteraient de l’énergie économisée par le retrait des ventilateurs, plus la réduction de 10% du temps de calcul, du fait de la possibilité de faire fonctionner les processeurs plus souvent en mode turbo. Car l’eau arrache aussi plus rapidement les calories que l’air.

Reste que tous les refroidissements à eau ne se valent pas. Le système Neptune 6 de Lenovo présente l’intérêt de faire entrer de l’eau à 45°C dans les serveurs contre 35°C chez la concurrence. Cela signifie qu’il faut moins d’énergie, au bout de l’allée, pour refroidir les 55, 60, ou 65° que l’eau peut atteindre après avoir arraché les calories des composants.

Le secret de fabrication de Lenovo ? Tout simplement le fait de disposer, en parallèle, une multitude de tuyaux de cuivre à la surface de la carte mère des serveurs, pour refroidir chaque composant individuellement. Chez la concurrence, ce sont des flexibles en série qui véhiculent l’eau sur chacun des composants, l’un après l’autre, si bien que l’eau grimpe en température tout au long de son parcours dans le serveur. Alors qu’elle ne le fait qu’une fois chez Lenovo.

12288 cœurs x86 dans une étagère rack

Mais quid de la disposition verticale ? Elle serait due à une contrainte physique des nouvelles puces. « En fait, les Xeon 6P d’Intel et les sets GB200 de Nvidia sont beaucoup plus larges et plus épais que des puces ordinaires. Si bien qu’un serveur contenant deux Xeon 6P ou un GB200 tiendrait dans un boîtier large d’environ 11 pouces et épais de 2,4 pouces (soit 1,36 U de hauteur en unité rack). Cela ne rentre pas dans des étagères rack standard », dit Patrick Moakley.  

« Si vous voulez en coller deux, côte à côte, dans le même, boîtier, vous atteignez environ 21 pouces de large, alors que la largeur d’une étagère est de 19 pouces. Si vous les mettez l’un au-dessus de l’autre, vous consommez 3U de hauteur au lieu de 2U, soit un maximum de 28 serveurs par étagère. Ce n’est pas une solution assez dense. Nos clients voulaient une solution à haute densité qui tienne dans des étagères rack de 19 pouces de large et 42 U de haut. Donc nous les avons mis verticalement pour atteindre 48 serveurs. » 

Dans le détail, chacun des deux serveurs contenus dans une lame SC777 v4 dispose donc d’un processeur Grace qui embarque dans sa puce 72 cœurs ARM Neoverse v2 qui communiquent ensemble à la vitesse de 512 Go/s avec une mémoire LPDDR5X embarquée de 480 Go. Chacun des deux GPU B100 dispose de 192 Go de mémoire HBM3e – mais il pourrait finalement s’agir de GPU B200 disposant de 384 Go de mémoire – dont la bande passante est de 16 To/s.

Ces deux serveurs sont interconnectés en NVLink. Ils partagent 10 SSD NVMe et six cartes d’extension (au format NDR de Nvidia) pour communiquer avec le reste du cluster.

Chacun des deux serveurs contenus dans une lame SC750 v4 dispose de deux processeurs Xeon 6900P équipés chacun de 128 cœurs. Lenovo laisse entendre qu’une version dotée de Xeon 6900E avec 144 ou 288 cœurs pourrait arriver dans le courant de l’année 2025. Ces deux Xeon se partagent un maximum de 3 To de RAM avec 24 barrettes de RAM classiques en 6400 MHz. Cependant, il est possible de plutôt installer 24 barrettes MRDIMM inventées par Micron qui atteignent 8800 MHz, mais n’offrent que 64 Go chacune, soit un maximum de 1,5 To de RAM par serveur.

Ici, les serveurs ont leur propre capacité de stockage, à raison de 6 SSD NVMe pour chacun d’eux. Et leurs propres extensions, soit 2 slots PCIe 5.0 par serveur.

Lenovo précise que ses châssis permettent sans problème de mélanger des lames SC777 v4 avec des lames SC750 v4. Si l’on fait le calcul, une étagère rack entière pourrait totaliser 3456 cœurs ARM Neoverse v2 plus 96 GPU Blackwell, ou 12288 cœurs x86 (de série P). 

À titre de comparaison, le supercalculateur Phoenix 2022, qui occupe la 497^e place du Top500, a 20160 cœurs x86. Cela semble confirmer les dires de Patrick Moakley selon lesquels deux étagères Rack de serveurs SC750 v4 suffiraient à faire entrer une entreprise dans le palmarès des supercalculateurs. Pour sa part, le Phoenix 2022 est constitué de 280 serveurs Lenovo ThinkSystem SR670 V2 de taille 3U, soit 20 étagères rack.