Avant-première : HPE dévoile ses serveurs les plus puissants

La lame Cray EX254n basée sur huit Grace Hopper

Une lame Cray EX254n se compose de deux nœuds, chacun équipé de quatre puces Grace Hopper GH200. Ces puces sont constituées de deux circuits électroniques, le processeur et le GPU, assemblés ensemble sur un support commun qui les connecte aux autres puces. Les deux circuits ont chacun leur propre plaque de cuivre refroidie à l’eau.

Le processeur Grace comprend 72 cœurs ARM Neoverse V2, tandis que le GPU Hopper est tout simplement le GPU H100 haut de gamme que Nvidia propose déjà en carte autonome depuis cet été, en remplacement de l’A100 majoritairement installé dans les supercalculateurs actuels.

Les deux puces sont reliées via un lien NVLink-C2C qui leur permet de communiquer à 900 Go/s (450 Go/s dans chaque direction). À titre comparatif, c’est 7 fois plus que la bande passante entre un processeur x86 et un H100, qui communiquent via 16 canaux sur un slot PCIe dans un serveur traditionnel.

Le GPU Hopper embarque sa propre mémoire HBM3 de 96 Go avec laquelle il communique à la vitesse de 4 To/s. Une future version avec mémoire HBM3e atteindra 144 Go et offrira une bande passante de 4,9 To/s. Le processeur Grace dispose d’une bande passante de 500 Go/s vers une RAM LPDDR5X externe, mais dédiée, qui peut grimper à 480 Go de capacité. Les deux puces peuvent chacune accéder à la RAM de l’autre, pour former une unité de calcul dont la capacité mémoire atteint 624 Go.

« Certes, mettre des processeurs ARM à la place de traditionnels x86 peut sembler inédit dans les supercalculateurs HPE. Mais, en vérité, cela fait cinq ans que nous préparons les scientifiques et les développeurs à l’arrivée de cette machine, via un programme appelé Catalyst et qui comprenait de serveurs prototypes à base de processeurs ARM avec GPU Nvidia », indique Ben Bennett.

Le switch Slingshot

Ben Bennett ne dit pas à quelle vitesse les puces Grace Hopper communiquent entre elles. La configuration Cray EX254n présentée n’étant pas encore commercialisée, il faudra attendre le début de l’année prochaine pour en connaître tous les détails.

Cependant, on sait que les armoires EX2500 et EX4000 interconnectent huit lames avec quatre switches HPE Slingshot, également refroidis à l’eau. Ces switches, qui sont basés sur un ASIC maison de HPE (et non de Nvidia) supportent chacun une bande passante de 12,8 Tbit/s. Cette bande passante est répartie en 64 ports de 200 Gbit/s chacun. Un switch Slingshot dispose de huit connecteurs propriétaires, côté serveurs, et vingt-quatre connecteurs QSFP-DD standards vers d’autres switches réseau à l’arrière. Chaque connecteur transporte deux ports. Le switch en lui-même supporte de router les informations entre 250 000 ports cibles.

Les quatre switches Slingshot se connectent directement à l’arrière des huit lames, perpendiculairement à elles, sans câbles. De fait, chaque lame dispose d’une bande passante de 1,6 Tbit/s, soit 200 Gbit/s par puce GH200 (environ 25 Go/s).

La lame Cray EX255a à base d’APU AMD MI300a

De son côté, la lame Cray EX255a intègre huit APU MI300a d’AMD. Quatre orientés dans un sens, quatre orientés dans l’autre, pour faciliter la circulation de l’eau. APU signifie ici « Accelerated Processing Unit ».

L’APU MI300a est un assemblage particulièrement complexe de différents circuits dans une même puce. On dénombre trois circuits CCD qui comprennent chacun huit cœurs de processeurs Zen 4 (il s’agit des mêmes CCDs que ceux du dernier Epyc 9004), six circuits XCD qui comprennent 228 cœurs GPU CDNA 3 et huit circuits mémoire HBM3 qui totalisent 128 Go de capacité.

AMD avait déjà présenté un APU MI250 basé sur des cœurs Zen 3. Le MI300a serait huit fois plus performant pour une consommation électrique à peine supérieure, ce qui le rendrait cinq fois plus rentable que son prédécesseur.

« Ces lames serviront à construire El Capitan, notre prochain supercalculateur qui sera basé sur la même architecture que Frontier, c’est-à-dire avec des codes optimisés pour AMD. L’avantage de cette version est qu’il n’y a plus de CPU en plus des GPU. Chaque lame a seulement huit APU », dit notre interlocuteur en évoquant une baisse importante de la consommation électrique.

Les lames Cray EX255a sont également interconnectées avec des switches Slingshot.

« Nous avons aussi en projet un supercalculateur Aurora, basé sur des lames Intel, avec processeur Xeon et GPU Ponte Vecchio. Mais il est trop tôt pour la dévoiler », indique Ben Bennett.

Les Cray EX670 et ProLiant 380a

Enfin, le Cray EX670 est le seul serveur dit de supercalcul qui est nativement conçu pour être refroidi à l’air, c’est-à-dire dans des datacenters classiques, avec des étagères rack classiques. Il est doté de deux processeurs Xeon de dernière génération qui communiquent en PCIe avec huit cartes GPU H100. Celles-ci, en réseau SXM, sont logées dans un compartiment dédié sous la carte mère. La machine, de type HGX dans la nomenclature Nvidia, est très proche du serveur Dell XE9680 lancé cet été.

HPE devrait sous peu décliner ce serveur en une version plus économique, l’EX665, qui ne présente que quatre cartes H100.

« Cette machine est destinée à permettre aux entreprises d’entraîner des modèles d’IA dans leurs propres datacenters. Les entreprises qui le feront sont les grands comptes, les banques. Mais nos études montrent que les entreprises de moindre taille n’entraîneront pas leurs modèles. Elles exécuteront leurs propres données sur ceux déjà entraînés en amont. Dans cette situation, vous n’avez pas besoin d’autant de puissance. C’est tout l’intérêt de notre nouveau serveur Proliant DL380a Gen11 avec GPU Nividia L40s », intervient un autre démonstrateur de HPE, dont LeMagIT n’a pas réussi à voir le nom.

Dans un format de seulement 2U, le DL380a comprend un ou deux processeurs Xeon et jusqu’à quatre GPU connectés en PCIe 5.0 (16 canaux).