Actualites

OVHcloud relance le refroidissement par huile des serveurs

En éliminant tous les ventilateurs présents dans les étagères rack, le bain d’huile diviserait par 500 les dépenses énergétiques pour refroidir les serveurs. Le système est par ailleurs couplé à un refroidissement par eau des processeurs.

Yann Serra
par
Publié le: 27 oct. 2022

OVHcloud relance le principe des serveurs immergés dans l’huile. À l’occasion de l’Open Compute Project Global Summit qui vient de se tenir à San José, l’hébergeur français a présenté son nouveau concept Hybrid Immersion Liquid Cooling. Il consiste à plonger chaque carte mère d’un serveur dans un compartiment individuel rempli d’huile non conductrice.

« Habituellement, les systèmes immersifs consistent à plonger toutes les cartes mères ensemble dans un bain. Ce qui impose d’utiliser un design avec des pompes [pour faire circuler l’huile], des échangeurs thermiques, des compresseurs et un couvercle étanche contre l’évaporation. Non seulement cela consomme beaucoup d’énergie pour fonctionner, mais cela occupe aussi beaucoup de surface au sol, ce qui limite le nombre de serveurs au mètre carré. Notre design résout tous ces problèmes », expliquent les ingénieurs Ali Chehade et Mohamad Hnayno dans un billet de blog.   

Photo rack immergé d'OVHcloud.
La baie rack pour serveurs immergés d'OVHcloud.

De fait, le système mis au point par OVHcloud permet d’installer 48 serveurs 1U – ou 24 serveurs 2U – dans une étagère rack qui occupe un volume à peu près standard. Le volume standard d’une étagère rack est d’environ 61 cm de large sur 2 m de haut et 1,22 m de profondeur pour 42 serveurs 1U. Ici, l’étagère fait plutôt 75 cm de large, ce qui fait dire à OVHcloud qu’il atteint une densité de 37 serveurs 1U au mètre carré.

C’est environ trois fois mieux que les bassines d’huile existantes. Celles-ci consistent plutôt à coucher l’étagère sur le sol, soit deux 2 m x 61 cm de surface de datacenter occupée, pour une hauteur de 1,2 m qui laisse plein de volume inutilisé jusqu’au plafond.

Mais, surtout, ce système ne consomme aucune électricité pour refroidir l’étagère rack. Ni les 30 à 40 % d’énergie en plus, habituellement nécessaires avec une étagère refroidie par des ventilateurs et un air climatisé. Ni même les quelques watts de la pompe qui fait circuler l’huile dans les solutions immersives habituelles.

Un coût de refroidissement divisé par 500

La solution imaginée par OVHcloud combine en réalité deux techniques de refroidissement par liquide : l’huile, donc, ainsi que toute la tuyauterie qui vient serpenter à la surface des cartes mères pour refroidir les composants les plus chauds à l’eau.

Mis au point depuis 2003, ce système de plomberie consiste simplement à faire circuler de l’eau. Les tuyaux – des flexibles – entrent dans chaque serveur, passent par des petits réservoirs carrés en cuivre collés au-dessus de chaque processeur et de chaque GPU, où l’eau capture leur température, puis ressortent. Ils sont ensuite mis en contact avec un autre circuit de tuyaux qui, lui, amène son eau jusqu’à l’extérieur des murs du data center pour la refroidir, avant de la faire rentrer à nouveau dans l’enceinte du bâtiment.

photo serveur OVHcloud immergé.
Un serveur OVHcloud immergé.

Jusqu’à présent, les serveurs d’OVHcloud étaient débarrassés de leur boîtier avant d’être mis en production, afin de ne pas gêner le passage des tuyaux. Dans cette configuration, le reste de la carte mère – mémoires DRAM, stockage NAND, composants divers – était refroidi par l’air ambiant. À condition que l’air ambiant reste suffisamment frais. Or, cette technique, qui résolvait surtout l’essentiel du problème thermique causé par les CPUs et GPUs, ne préservait pas l’exploitant du datacenter contre la nécessité, à un moment où l’autre, d’ajouter des ventilateurs et un système de climatisation. Par exemple en été.

OVHcloud estime ainsi que tous les ventilateurs installés dans une étagère rack traditionnelle uniquement refroidie par la circulation de l’air (en moyenne 36 ventilateurs sur l’étagère elle-même, plus ceux des serveurs), représentent 20 % de la consommation électrique des serveurs. Son système de refroidissement par eau permettait déjà de réduire la dépense énergétique des ventilateurs à 7 % de la consommation des serveurs. Avec l’immersion dans l’huile, on tomberait à 0,04 %, soit 500 fois moins que sur une étagère rack traditionnelle. Ce taux de 0,04 % ne correspondrait plus qu’à la ventilation des alimentations.

L’avantage de l’huile sur l’air est qu’il répartit bien mieux la chaleur dans tout son volume, ce qui abolit ici la nécessité d’installer des hélices pour déplacer les molécules chargées en température. Dans son nouveau système immersif, OVHcloud a réinstallé dans les serveurs des tuyaux en cuivre. Ils capturent ainsi la chaleur de l’huile dans laquelle ils plongent, en plus de la chaleur des CPUs et GPUs. Selon les ingénieurs de l’hébergeur, le système de refroidissement par eau seul faisait ressortir des murs du data center une eau à 50°. Le nouveau système immersif peut faire monter la température de cette eau à 65 °C.  

Mélanger le refroidissement par circulation d’eau au bain d’huile élimine par ailleurs la nécessité d’une pompe qui, sur les systèmes à bain d’huile seul, sert à faire passer tout le volume de liquide devant un échangeur thermique.

À l’échelle du data center, OVHcloud estime que l’immersion des serveurs dans l’huile doit lui faire économiser 20,7 % des dépenses énergétiques qu’il investissait encore dans le refroidissement de ses salles.

OVHcloud assure par ailleurs que si la température extérieure demeure inférieure à 43°, alors il n’est pas nécessaire de faire évaporer de l’eau chaude pour la remplacer par de l’eau froide souterraine. L’eau dans les tuyaux resterait toujours la même. Même si cette information est pour l’heure très théorique, elle a vocation à répondre aux reproches de plus en plus insistants concernant le gaspillage d’eau potable inhérent au fonctionnement des datacenters.

Des serveurs plus fiables et plus puissants

Autre évolution importante du design, les serveurs sont donc de nouveau enfermés dans des boîtiers individuels remplis d’huile. Dans ce système, les serveurs sont installés verticalement, à raison de 16 unités côte à côte, par étage, et de trois étages dans la baie. Le plafond de chaque étage est l’endroit dans lequel circulent tous les câbles, et aussi là où se trouvent les alimentations des serveurs.

Photo serveur OVHcloud immergé de profil.
Le serveur est positionné verticalement.

Les serveurs présentent ainsi tous leurs connecteurs juste au-dessus de la surface de leur bain d’huile. Ce détail a ceci d’important que l’huile a un indice de réfraction qui pourrait dévier les signaux optiques dans les connecteurs et aussi une texture qui pourrait rendre cassant le plastique des câbles.

« Le fait de ne plus avoir d’air qui circule dans les serveurs réduit aussi en moyenne de 60 % leur taux de panne, car l’huile est une protection naturelle contre les dépôts de poussière. », écrivent les ingénieurs dans leur billet de blog.

OVHcloud n’a pas communiqué sur l’huile exacte qu’il a choisie. Il aurait évalué plusieurs hydrocarbures diélectriques non volatils selon des critères de corrosivité, d’évaporation, de toxicité et d’efficacité calorifiques, puis aurait retenu la solution qui avait les taux les plus favorables.

Selon l’hébergeur, les premiers tests auraient à ce point prouvé l’efficacité énergétique du système immersif qu’il lui permettrait à présent d’envisager de condenser des serveurs beaucoup plus puissants dans ses racks.  

Pour approfondir sur Processeurs et composants