HPC : Le CEA veut débarrasser les scientifiques des soucis de tuyauterie informatique

Des machines virtuelles « collées » au supercalculateur

« Nous introduisons des machines virtuelles avec une ergonomie proche de celle du cloud, pour les rendre plus accessibles à des communautés qui ne sont pas habituées aux outils de simulation classiques. »

Début octobre, le TGCC a annoncé des ressources supplémentaires. Par ressources, il ne faut pas entendre de nouveaux supercalculateurs, mais des moyens techniques pour les utiliser plus facilement : « ces grands centres de calcul ont les ergonomies classiques que l’on rencontre dans la simulation, à base de lignes de commandes. Dans le cadre de ce projet, nous introduisons des machines virtuelles avec une ergonomie proche de celle du cloud, pour les rendre plus accessibles à des communautés qui ne sont pas habituées aux outils de simulation classiques et à leur aridité. Les technologies cloud sont idéales pour cela, puisque les utilisateurs arrivent avec leur machine virtuelle et font tourner des services chez nous », explique Jacques-Charles Lafoucrière, program manager au CEA.

L’intérêt est que les scientifiques soient très proches des super calculateurs – donc de leurs capacités de stockage et de calcul – mais conservent l’ergonomie qu’ils connaissent sur leur station de travail.

Les ressources mises en place sont surtout logicielles, avec tout de même un peu de hardware. Elles sont positionnées en frontière du centre de calcul, mais pas sur le calculateur lui-même, pour des questions de sécurité. La technologie employée est OpenStack. La machine virtuelle va ainsi tourner sur cette passerelle, mais sera capable de soumettre un calcul au super calculateur, et d’en utiliser les ressources.

Ces ressources comprennent un cluster intégrant des cartes graphiques Nvidia, à architecture Volta. S’y ajoute du stockage Flash à base de baies DDN (DataDirect Network) sur lequel tourne le système de fichiers parallèle Lustre. Avec une capacité Flash nouvellement acquise de 970 To. Ces ressources Flash constituent d’ailleurs une nouveauté sur ce calculateur civil du CEA : seul celui destiné à la défense en était équipé.

« La technologie Flash est importante pour de nouvelles communautés de scientifiques qui ont l’habitude de travailler sur de multiples fichiers de petite taille en ayant des accès aléatoires, notamment dans le domaine de l’IA », précise Jacques-Charles Lafoucrière. Les nouvelles fonctionnalités du système sont en production et le CEA Saclay commence à migrer sur ces systèmes ses bases de données d’imagerie, à commencer par le programme Neurospin, dédié au fonctionnement du cerveau.

Une fédération européenne

Ce projet est mené au niveau européen avec quatre autres pays : l’Allemagne, l’Espagne l’Italie, la Suisse, qui ont déjà des machines de type Tier0, à savoir des calculateurs HPC de plusieurs dizaines de Petaflops, avec pour objectif l’Exaflop en 2022-2023. Les cinq centres de calcul européens ont donc la même politique, les Suisses ayant commencé en premier (CSCS Lugano).

L’intérêt de cette fédération de services (Fenix) est que les scientifiques pourront développer leurs calculs et les lancer en fonction de la disponibilité des calculateurs, opérer de la redondance de services, etc. Dans la communauté neurosciences, les chercheurs envisagent de bâtir des portails – avec notamment le projet e-Brain – qui permettront de préparer leurs données, puis de déclencher une simulation quelque part, sur une machine disponible.