Total se dote de Pangea III pour voir dix fois mieux sous la surface

Mieux voir les pièges à hydrocarbures pour maximiser la production

« L’intérêt d’augmenter régulièrement notre puissance de calcul est de zoomer encore plus sur nos images. Avec ici dix fois plus de précision, nous avons une meilleure appréhension des « geo-hazards » : nous pouvons ainsi éviter les failles et les fractures qui vont poser des problèmes de mécanique des puits. Sachant qu’un forage en mer pour coûter jusqu’à 100 ou 200 millions d’euros, l’enjeu est de placer nos puits au meilleur endroit possible pour maximiser la production d’hydrocarbures », ajoute-t-il.

Il précise qu’il ne s’agit d’ailleurs pas nécessairement d’augmenter la résolution en 3D, mais aussi d’utiliser la plus grande capacité de calcul pour comparer l’évolution d’un piège à hydrocarbures dans le temps. « Nous parlons de représentation 4D : cela nous permet de voir des différences entre des campagnes d’acquisition sismique successives et par exemple déterminer des zones qui n’ont pas réagi à la production. Il est alors pertinent de retourner les drainer avec de nouveaux puits. »

Dans d’autres cas, comme en Méditerranée orientale, Angola et Golfe de Mexique les relevés sismiques sont insuffisants car les hydrocarbures sont situés sous des couches de sel qui atténuent le signal. Pangea III permettra dans ce cas, en poussant les calculs plus loin, de voir ce qui n’était pas encore visible.

« Avec Pangea III, nous pouvons effectuer en un jour un calcul qui nous prenait auparavant une semaine. Ce qui nous permet de nous rapprocher plus souvent des géologues pour affiner les paramètres de recherches. Ainsi, nous testerons plus d’hypothèses sur les projets les plus complexes durant l’année que nous leur consacrons. »

Autre apport de la puissance de Pangea III, la nouvelle possibilité de modéliser l’ingénierie-réservoir. « En l’occurrence, nous simulons des puits comme dans des simulateurs de vols : nous modélisons les puits, les écoulement et, d’après eux, nous testons les effets qu’auraient par exemple des compressions supplémentaires sur la production. »

48 armoires rack pour le calcul, le stockage et le réseau

Pangea III est constitué de 33 armoires rack de calcul, 12 pour le stockage des données et 3 pour le cœur de réseau et l’administration de l’ensemble.

Chaque armoire de calcul est équipée de 18 serveurs 2U, plus des switches réseau pour les interconnecter. Ces serveurs contiennent chacun 2 processeurs Power9 à 3 GHz (18 cœurs par CPU), 512 Go de RAM et de cartes réseau Infiniband qui totalisent 200 Gbits/s de bande passante. La grande nouveauté par rapport aux serveurs du précédent Pangea II est la présence de GPUs, en l’occurrence six cartes NVidia Volta 100.

« L’utilisation du GPU était devenue indispensable pour résoudre nos simulations les plus complexes. Pour l’exploiter, nos ingénieurs ont passé une année à adapter leurs codes. Ceux-ci sont massivement parallèles et doivent être spécifiquement optimisés pour l’architecture spécifique de l’ordinateur », indique François Alabert. Écrits en C et Fortran, ces codes utilisent ici les bibliothèques OpenACC, OpenMP et, désormais, Cuda de NVidia.

OpenPower : l’intérêt d’un bus à 150 Go/s

Le fait que les serveurs reposent ici sur des processeurs Power d’IBM plutôt que sur des x86, comme sur Pangea II, est en revanche transparent pour les ingénieurs.

« Outre la puissance du processeur Power9, l’intérêt est ici d’utiliser l’architecture ouverte OpenPower. Celle-ci nous a permis de travailler avec NVidia sur la manière d’interconnecter CPUs et GPUs. Ils utilisent ici un bus NVLink qui leur permet de communiquer à 150 Go/s – contre 32 Go/s avec un bus PCIe sur des serveurs x86 – et d’accéder chacun à l’adressage de la RAM de l’autre », nous dit Laurent Vanel, responsable des technologies Power chez IBM, en charge de l’équipe de réponse et de design du supercalculateur Total Pangea 3.

Dans le détail, chaque processeur accède à sa RAM DDR4 en 180 Go/s et chaque GPU communique avec sa RAM HBM en 900 Go/s. Pour tempérer le matériel qui fonctionne à de telles vitesses, IBM a installé un système de refroidissement à eau qui passe sur chaque processeur et chaque GPU.

50 Po de stockage à 1 To/s pour des serveurs dépourvus de disques

Les 12 étagères racks de stockage sont constituées d’un cluster de baies DDN SFA18K, également reliées en Infiniband. Consolidant 7000 disques durs pour atteindre 50 Po de capacité, ces étagères contiennent à la fois les images disques sur les lesquels démarrent les serveurs à l’allumage mais aussi, et surtout, toutes les données qu’ils doivent ingérer. Grâce à la très grande quantité de disques, il n’a pas été nécessaire de déployer des unités Flash. Le débit entre le cluster de stockage et celui de calcul est de 1 To/s.

« Nous avons décidé de ne mettre aucun disque dans les serveurs pour réduire les risques de pannes. Par ailleurs, le fait de télécharger les images des systèmes dans la RAM des serveurs à leur démarrage permet très simplement répartir la puissance de calcul sur les projets », commente Laurent Vanel. Il précise que le système d’exploitation utilise le Linux de Red Hat.

Au final, Pangea III a été installé entre janvier et mai 2019 au sein de deux salles totalisant 120 m².