Supercalculateur : pourquoi la France s’est équipée d’une machine HPE

Des processeurs Xeon Cascade-Lake et du réseau Omni-Path d’Intel

Sur le plan purement informatique, la victoire de la filiale française de HPE est tout autant notable. Selon Gaël Menu, directeur des ventes pour le secteur public chez HPE France, elle était à ce point inattendue par le reste du marché que le fournisseur a été obligé de se justifier devant une commission d’enquête qui s’est tenue en octobre dernier : « manifestement, certains de nos concurrents ont émis des doutes quant à notre capacité à les égaler sur le supercalcul. Mais nous avons pu prouver que nous avions bien réussi à concevoir la meilleure offre technique dans l’enveloppe des 25 millions d’euros de l’appel d’offre. Nous n’avons pas été choisis par décision politique », lance-t-il.

Il faut dire que les caractéristiques de ce SGI 8600 ont de quoi étonner. Tout d’abord, contrairement à ce que nous avons pu écrire sur la supériorité des prochains processeurs AMD Epyc, cette machine a bel et bien battu tous ses concurrents dans les benchmarks d’évaluation grâce à des processeurs Intel Xeon, en l’occurrence des modèles Cascade-Lake G6248 dont la sortie officielle est prévue plus tard cette année.

« Nous confirmons les performantes excellentes des derniers AMD Epyc en matière de calcul. Néanmoins, lorsque nous avons conçu ce supercalculateur, nous nous sommes rendus compte que c’est sur les prochains processeurs d’Intel que les bibliothèques Open source utilisées par les chercheurs français parvenaient aux meilleures résultats », dit Gaël Menu.

Il précise que ces processeurs fourniront 70.000 cœurs de calcul à la machine, à une fréquence qui oscille entre 2,3 et 4,2 GHz et chacun épaulé par un bloc de 4,8 Go de RAM dédié pour héberger les données en cours de traitement. Ces cœurs seront répartis sur 1528 nœuds, lesquels seront interconnectés – et c’est peut-être la raison des meilleures performances des Xeon ici – par un réseau Intel Omni-Path pouvant véhiculer des flux en 100 Gbits/s. La bande passante cumulée est de 52 Tbits/s (soit 522 000  Gbits/s).

Ces cœurs Xeon fourniront essentiellement une puissance de 5 petaFLOPS aux algorithmes scalaires, à savoir ceux que l’on utilise classiquement dans les simulations. Les algorithmes d’intelligence artificielle profiteront plutôt, eux, des 9 petaFLOPS délivrés par les 1044 GPU NVidia V100, répartis sur 261 nœuds avec, chacun, 32 Go de RAM.

Un refroidissement par eau tiède et 1 Po de Flash

Deux autres caractéristiques sont inattendues dans une machine HPE. Le stockage, tout d’abord : alors que le constructeur peut se targuer d’une présence assez forte dans le domaine, avec des marques comme 3PAR ou Nimble Storage, il a choisi ici d’équiper son SGI 8600 de baies de stockage construites par DDN.« Le stockage d’un supercalculateur n’a absolument rien à voir avec celui d’un serveur classique », répond Gaël Menu. « Ici, il faut que les serveurs accèdent très rapidement à un très grand espace de stockage où les données ne resteront que très peu de temps. Ces données sont des résultats dont l’écriture ne doit pas ralentir les calculs, d’où la fourniture de baies DDN qui totalisent 1 Po de stockage Flash et qui sont reliées en Infiniband aux nœuds serveurs. En revanche, ces données n’ont pas vocation à rester plus de quelques minutes sur ces baies ; une fois calculées, elles partent s’enregistrer sur des baies plus classiques en aval du datacenter et d’où les chercheurs pourront les étudier ». 

L’autre caractéristique est celle du refroidissement. Alors que HPE incarne l’un des principaux sponsors du tout nouveau refroidissement à l’huile d’Immersion 4, il a ici mis au point un refroidissement à base d’eau plus classique, si ce n’est qu’il s’agit d’eau tiède.

« Le refroidissement à l’huile a indiscutablement le meilleur rendement. Mais le problème ici est que notre supercalculateur occupe déjà en armoires racks classiques plus de 60 mètres-carrés au sol. Dans ces conditions, déployer des nœuds dans des bacs remplis d’huile aurait compliqué l’installation au point de changer le calcul économique », indique Gaël Menu qui suggère que le refroidissement à l’huile ne permet de réaliser des économies qu’au fur et à mesure de son utilisation, mais qu’il coûte plus cher à l’achat. « Il faut comprendre que l’enveloppe budgétaire dans laquelle nous nous sommes inscrits correspond au prix d’achat de la machine, pas à son coût en exploitation », précise-t-il. 

Le refroidissement utilisé est de type DLC, c’est-à-dire que de l’eau du robinet circule dans des tuyaux qui passent par des plaques collées aux composants les plus chauds (processeurs, GPU). L’eau n’est pas elle-même refroidie, mais sa température est suffisamment basse pour absorber les calories, d’où l’appellation de « refroidissement par eau tiède » de ce procédé.

Les deux avantages en plus : la marque SGI et un centre HPE d’IA à Grenoble

Pour être tout à fait complet sur les arguments que HPE France a su mettre en avant pour remporter l’appel d’offres de GENCI, il faut citer encore deux autres avantages, mais qui n’ont plus rien à voir avec la technique.

« D’abord, nous devons notre ticket d’entrée au rachat de SGI en 2016, qui était une marque reconnue en matière de supercalculateurs et qui nous a apporté le savoir-faire nécessaire en matière de calcul haute densité. Ensuite, nous nous félicitons d’avoir convaincu notre maison-mère d’avoir installé notre centre de compétence en Intelligence artificielle à Grenoble, plutôt qu’en Allemagne. Pour Genci, cela signifie que nous pouvons mettre à leur disposition cinq de nos ingénieurs, qui partagent avec eux nos derniers progrès en matière d’algorithmes d’IA », conclut Gaël Menu.