Avant-première : Lenovo aura des serveurs très performants, très denses
Le constructeur vient de dévoiler les lames SC750 v4 et SC777 v4 qui permettent d’installer 48 serveurs hautement performants, Intel Xeon 6P ou Nvidia GB200, dans une seule étagère rack.
L’année dernière, HPE avait été le premier à dévoiler ses serveurs ultra-performants à base de puce Grace Hopper (comprenant le processeur ARM Grace et le GPU H200) de Nvidia. Cette année, la primeur revient à Lenovo. Le constructeur chinois vient de dévoiler à Seattle – à l’occasion de son salon annuel Lenovo Techworld – un serveur SC777 v4 basé sur deux sets GB200 de Nvidia. Chaque set correspond à trois puces interconnectées sur une plaque : le même processeur Grace plus deux nouveaux GPU Blackwell 100.
La machine sera disponible d’ici à l’été prochain, c’est-à-dire au moment où les Blackwell sortiront d’usine.
Mais le plus surprenant dans ce serveur n’est pas tant qu’il battra de nouveaux records de vitesse pour entraîner les modèles d’IA. C’est son design. Conçu pour être refroidi à l’eau, il prend la forme d’une lame qui s’insère verticalement dans un châssis 13U – qui peut contenir 8 lames.
« Ce nouveau design reflète la toute dernière génération de notre système de refroidissement à eau, Neptune 6. »
Patrick MoakleyDirecteur marketing des gammes HPC, Lenovo
Ce châssis, baptisé N1380, est d’ores et déjà disponible, pour un tout autre type de lame : le nouveau serveur SC750 v4, qui contient deux fois deux processeurs Xeon 6P et que Lenovo compte livrer d’ici à quelques semaines aux clusters de supercalcul.
« Ce nouveau design reflète la toute dernière génération de notre système de refroidissement à eau, Neptune 6. Son génie est la simplicité avec laquelle on peut insérer ou retirer les serveurs : il suffit de les glisser. À l’arrière, ils comportent toute une série de connecteurs qui s’enclenchent automatiquement pour délivrer l’alimentation, le réseau, l’eau froide et, bien entendu, une sortie pour l’eau chaude », se félicite Patrick Moakley, le directeur marketing des gammes HPC de Lenovo (en photo), qui enchaîne les présentations sur son stand.
« Quant au positionnement vertical des machines, c’est un design qui nous permet d’avoir une configuration qui entre dans le Top500 [le palmarès des supercalculateurs, N.D.R.] avec seulement deux étagères rack ! Concrètement, chaque lame contient deux serveurs bi-Xeon ou GB200. Soit 16 serveurs par châssis. Et comme vous pouvez superposer trois châssis dans une étagère rack standard, vous obtenez un cluster de 48 serveurs. Une densité inédite », argumente-t-il.
Un système de refroidissement par eau inédit
D’ordinaire, il n’est pas possible de mettre autant de serveurs dans si peu d’espace, car la chaleur dégagée est tellement importante qu’il faudrait refroidir les machines depuis des turbines d’air avec une taille phénoménale, inversement proportionnelle à celle du petit volume qu’occupent les serveurs. Et la problématique s’amplifie même désormais à chaque génération de puces : les derniers Xeon 6P ont une enveloppe thermique de 500 watts, alors que leurs prédécesseurs plafonnaient à 350 watts.
La lame serveur SC777 v4 contient deux serveurs, chacun équipé d'un processeur Grace et de deux GPU Blackwell.
Le refroidissement à eau, qui consiste à faire circuler le liquide sur les composants les plus chauds et qui a la particularité d’arracher bien mieux les calories que ne le fait l’air, élimine la contrainte d’aménager un immense volume de refroidissement. Il présente aussi l’intérêt non négligeable de consommer bien moins d’énergie.
« La pompe, qui fait circuler l’eau dans les serveurs depuis un échangeur thermique installé au bout de la rangée, consomme une électricité qui équivaut à moins de 1 % de l’électricité nécessaire aux serveurs. Alors que les plus optimisés des ventilateurs consomment l’équivalent de 30 % de ce que consomment les serveurs », explique Patrick Moakley.
Selon lui, les studios Dreamworks, qui ont pu tester en avant-première le nouveau système de Lenovo, auraient constaté une réduction de la facture électrique de 40 % pour un travail donné, par rapport à une précédente génération de cluster de calcul refroidi par air. Ces 40 % résulteraient de l’énergie économisée par le retrait des ventilateurs, plus la réduction de 10 % du temps de calcul, du fait de la possibilité de faire fonctionner les processeurs plus souvent en mode turbo. Car l’eau arrache aussi plus rapidement les calories que l’air.
Reste que tous les refroidissements à eau ne se valent pas. Le système Neptune 6 de Lenovo présente l’intérêt de faire entrer de l’eau à 45 °C dans les serveurs contre 35 °C chez la concurrence. Cela signifie qu’il faut moins d’énergie, au bout de l’allée, pour refroidir les 55, 60, ou 65° que l’eau peut atteindre après avoir arraché les calories des composants.
Le secret de fabrication de Lenovo ? Tout simplement le fait de disposer, en parallèle, d’une multitude de tuyaux de cuivre à la surface de la carte mère des serveurs, pour refroidir chaque composant individuellement. Chez la concurrence, ce sont des flexibles en série qui véhiculent l’eau sur chacun des composants, l’un après l’autre, si bien que l’eau grimpe en température tout au long de son parcours dans le serveur. Alors qu’elle ne le fait qu’une fois chez Lenovo.
12 288 cœurs x86 dans une étagère rack
Mais quid de la disposition verticale ? Elle serait due à une contrainte physique des nouvelles puces. « En fait, les Xeon 6P d’Intel et les sets GB200 de Nvidia sont beaucoup plus larges et plus épais que des puces ordinaires. Si bien qu’un serveur contenant deux Xeon 6P ou un GB200 tiendrait dans un boîtier large d’environ 11 pouces et épais de 2,4 pouces (soit 1,36U de hauteur en unité rack). Cela ne rentre pas dans des étagères rack standard », dit Patrick Moakley.
« Nos clients voulaient une solution à haute densité qui tienne dans des étagères rack de 19 pouces de large et 42U de haut. Donc nous les avons mis verticalement pour atteindre 48 serveurs. »
Patrick MoakleyDirecteur marketing des gammes HPC, Lenovo
« Si vous voulez en coller deux, côte à côte, dans le même, boîtier, vous atteignez environ 21 pouces de large, alors que la largeur d’une étagère est de 19 pouces. Si vous les mettez l’un au-dessus de l’autre, vous consommez 3U de hauteur au lieu de 2U, soit un maximum de 28 serveurs par étagère. Ce n’est pas une solution assez dense. Nos clients voulaient une solution à haute densité qui tienne dans des étagères rack de 19 pouces de large et 42U de haut. Donc nous les avons mis verticalement pour atteindre 48 serveurs. »
Dans le détail, chacun des deux serveurs contenus dans une lame SC777 v4 dispose donc d’un processeur Grace qui embarque dans sa puce 72 cœurs ARM Neoverse v2 qui communiquent ensemble à la vitesse de 512 Go/s avec une mémoire LPDDR5X embarquée de 480 Go. Chacun des deux GPU B100 dispose de 192 Go de mémoire HBM3e – mais il pourrait finalement s’agir de GPU B200 disposant de 384 Go de mémoire – dont la bande passante est de 16 To/s.
Ces deux serveurs sont interconnectés en NVLink. Ils partagent 10 SSD NVMe et six cartes d’extension (au format NDR de Nvidia) pour communiquer avec le reste du cluster.
La lame serveur SC750 v4 comprenant deux serveurs bi=Xeon 6P.
Chacun des deux serveurs contenus dans une lame SC750 v4 dispose de deux processeurs Xeon 6900P équipés chacun de 128 cœurs. Lenovo laisse entendre qu’une version dotée de Xeon 6900E avec 144 ou 288 cœurs pourrait arriver dans le courant de l’année 2025. Ces deux Xeon se partagent un maximum de 3 To de RAM avec 24 barrettes de RAM classiques en 6 400 MHz. Cependant, il est possible de plutôt installer 24 barrettes MRDIMM inventées par Micron qui atteignent 8 800 MHz, mais n’offrent que 64 Go chacune, soit un maximum de 1,5 To de RAM par serveur.
Ici, les serveurs ont leur propre capacité de stockage, à raison de 6 SSD NVMe pour chacun d’eux. Et leurs propres extensions, soit 2 slots PCIe 5.0 par serveur.
Lenovo précise que ses châssis permettent sans problème de mélanger des lames SC777 v4 avec des lames SC750 v4. Si l’on fait le calcul, une étagère rack entière pourrait totaliser 3 456 cœurs ARM Neoverse v2 plus 96 GPU Blackwell, ou 12 288 cœurs x86 (de série P).
À titre de comparaison, le supercalculateur Phoenix 2022, qui occupe la 497e place du Top500, a 20 160 cœurs x86. Cela semble confirmer les dires de Patrick Moakley selon lesquels deux étagères Rack de serveurs SC750 v4 suffiraient à faire entrer une entreprise dans le palmarès des supercalculateurs. Pour sa part, le Phoenix 2022 est constitué de 280 serveurs Lenovo ThinkSystem SR670 V2 de taille 3U, soit 20 étagères rack.
