Green IT : pour Dell et Equinix, le refroidissement à eau est opérationnel

L’enjeu de refroidir au-delà de 15 kW

« Le refroidissement par air était suffisant pour des serveurs classiques. Mais cela n’est plus adapté aux baies qui sont à présent remplies de serveurs équipés de GPU et qui [...] dissipent 30 kW. »

Physiquement, plus les serveurs calculent, plus ils chauffent. Problème, au-delà d’une certaine température – soit 100 °C au niveau des principales puces de calcul, mais plutôt 70 °C au niveau de la machine entière – leurs performances chutent en flèche. Comme ces températures sont atteintes en quelques secondes à peine, il faut maintenir les machines sous ces plafonds en projetant dans leurs entrailles des litres de substance capables d’arracher les calories produites pour les rejeter plus loin.

La substance en question est historiquement de l’air, soufflé par des ventilateurs. L’efficacité de ce système est surtout fonction de la quantité d’air soufflé, de la vitesse à laquelle il est soufflé et de sa température. Les limites physiques et économiques du système découlent de la volonté, vertueuse, de ne pas dépenser plus d’électricité en refroidissement qu’on en dépense déjà pour faire fonctionner les serveurs.

L’équilibre le plus efficace est donc un air qui sort des serveurs à environ 60 °C, qui est refroidi plus loin à 35 °C par un échangeur thermique le plus naturel possible (via un contact avec l’air extérieur du bâtiment, par exemple) et qui est réinjecté dans les serveurs avec des petits ventilateurs en façade, calibrés pour aspirer relativement vite le faible volume d’air disponible devant une baie. C’est ce système qui permet d’atteindre un indice PUE moyen de 1,5, signifiant que l’on a dépensé les deux tiers de l’électricité facturée pour les serveurs et un tiers pour le système de refroidissement.

Mais ce système par air ne peut donc maintenir en opération que des serveurs qui cumulent au grand maximum 15 kW de chaleur par baie. Au-delà, l’air à la sortie des serveurs serait si chaud qu’il faudrait le refroidir avec des climatiseurs et le réinjecter plus vite en plus grosse quantité dans les machines avec des ventilateurs plus puissants. La facture énergétique s’emballerait.

« Ce qu’il faut retenir, c’est que ces systèmes de pompes ne consomment que 4 kWh pour refroidir 300 kW, soit actuellement dix baies de serveurs équipés de GPU. »

Le Direct Liquid Cooling, ou DLC, est un dispositif qui consiste à faire circuler de l’eau mélangée avec 25 % de propylène glycol à la surface des composants les plus chauds, principalement les CPU et GPU, pour arracher leurs calories. Ce mélange liquide est beaucoup plus efficace que l’aération, dans le sens où la pompe qui l’injecte dans tous les serveurs d’une baie – à la vitesse de 70 litres par minute – ne coûte pas plus cher en électricité que tous les ventilateurs de façade alors qu’elle permet de capturer dix fois plus de calories.

« Ce qu’il faut retenir, surtout, c’est que ces systèmes de pompes ne consomment que 4 kWh pour refroidir 300 kW, soit actuellement dix baies de serveurs équipés de GPU. L’un dans l’autre, on tombe à un indice PUE de 1,03 » se félicite Rachel Kumcur, superviseuse des installations critiques chez Equinix (à gauche sur la photo), à propos du système de démonstration installé sur le site PA10 de l’hébergeur.

Des baies Dell cinq fois trop puissantes pour des ventilateurs

Pour autant, s’il s’agit bien de réduire la proportion d’énergie destinée au refroidissement, le projet vise surtout à limiter l’explosion de la facture d’électricité pour des serveurs qui, eux, en consomment beaucoup plus.

« Sur notre prochaine génération de processeur Xeon, la sixième, nous parviendrons à mettre dans une seule puce avec un TDP de 350 W tout le nécessaire pour faire de l’inférence, voire du fine tuning de données », dit Jean-Laurent Philippe, le directeur technique d’Intel en Europe (à droite sur la photo), à propos des nouvelles applications d’IA qui motivent les entreprises à redéployer des serveurs dans les datacenters.

« Sur notre prochaine génération de processeur Xeon, nous parviendrons à mettre dans une seule puce avec un TDP de 350 W tout le nécessaire pour faire de l’inférence, voire du fine tuning de données. »

« Si vous comptez deux processeurs, 24 barrettes de mémoire qui dissipent chacune 10 W, plus l’électronique pour le réseau, vous arrivez à un serveur qui dissipe 1 000 W. Nous sommes capables de proposer des composants électroniques avec un design si fin que tout peut tenir dans un boîtier 1U. Au total, dans une baie 42U, si vous retirez les espaces occupés par les switches réseau, vous pourriez mettre 38 serveurs. Mais cela ferait 38 kW, c’est-à-dire plus de deux fois la limite supportée par les systèmes de ventilation », ajoute-t-il.

Il y a pire : Dell parvient à proposer des boîtiers 2U qui contiennent quatre serveurs biprocesseurs (soit huit processeurs en tout), mais qui dissipent 4,5 kW. En mettre 16 dans une baie ferait grimper sa dissipation à 75 kW, soit 5 fois la limite maximale des systèmes de ventilation.

À l’heure actuelle, les clients de tels serveurs n’auraient d’autre solution que de laisser vides la plupart des emplacements possibles d’une baie rack. Ce qui n’est pas économiquement possible : « nos clients louent des emplacements pour leurs baies. Donc, leur volonté est de condenser le plus possible de puissance de calcul par emplacement », résume Nicolas Roger.

Réduire la facture, être plus écologique… dans une certaine mesure

Le Direct Liquid Cooling nécessite toute une plomberie inédite dans un data center. La pompe qui se trouve au pied de la baie et qui fait circuler en tout 8 litres de liquide à la vitesse de 70 litres par minute dans les serveurs forme un circuit fermé. Ici, l’eau entre à 20 °C, ressort à 35 °C, et ses calories sont évacuées au contact d’un autre circuit fermé, lequel fonctionne depuis une autre pompe, installée à l’extrémité de toute une rangée de baies. Cette seconde pompe fait circuler de l’eau à la vitesse de 500 litres par minute – au maximum, beaucoup moins quand les baies ne sont pas pleines – au travers de tuyaux qui serpentent dans le faux plancher sous les baies.

« Oui, bien entendu, l’emplacement qui supporte des baies en DLC est facturé plus cher. Environ 20 % plus cher qu’un emplacement refroidi par air. Mais comme vous réservez moins d’emplacements, finalement, le loyer de votre hébergement est moins cher », assure Nicolas Roger. LeMagIT n’a pas réussi à obtenir un calcul détaillé du loyer pour un emplacement qui inclurait, aussi, le prix de l’électricité dépensé pour tous les serveurs.

« Nous amenons une eau à 35 °C, mais eux ont besoin d’une eau à 62 °C pour le réseau urbain. Donc, ils ont installé sur notre site un système pour chauffer notre eau.  Mais cela reste rentable. »

Pour autant, Equinix explique que ce système de refroidissement liquide, lorsqu’il sera adopté par ses clients, contribuera à réduire le coût de l’électricité elle-même. En effet, via un troisième système hydraulique qui, lui, part de la rangée des baies et va jusqu’au toit du bâtiment, les calories des serveurs sont in fine récupérées pour être introduites dans le réseau d’eau chaude de la ville. Le projet est de se servir de ces calories pour chauffer des immeubles de bureau et la piscine olympique, en échange d’une électricité facturée moins cher par le fournisseur énergétique, via des montages comptables entre pouvoirs publics.

Le marché des datacenters ne se lasse pas de faire des promesses de piscines chauffées depuis au moins quinze ans, que ce soit en France, en Europe, ou partout ailleurs dans le monde. Mais le montage ne fonctionnera que lorsqu’Equinix pourra produire la quantité d’eau chaude convenue contractuellement, c’est-à-dire lorsque son datacenter sera pleinement occupé. « Une grande avancée néanmoins, par rapport à tous les projets précédents, est que nos data centers, dont PA10, sont désormais construits en étant raccordés dès le départ au réseau d’eau chaude de la ville », se félicite Nicolas Roger.

Il faut par ailleurs relativiser les vertus écologiques d’un tel système : la ville qui hérite de ces calories doit toujours dépenser de l’énergie pour produire de l’eau chaude.

« Nous amenons une eau à 35 °C, mais eux ont besoin d’une eau à 62 °C pour le réseau urbain. Donc, ils ont installé sur notre site un système pour chauffer notre eau. Mais cela reste rentable, car ils dépenseraient beaucoup plus d’énergie pour chauffer l’eau de la ville de 16 °C à 35 °C », indique Rachel Kumcur.

Un design Dell en partenariat avec Cool-IT

Le design de la baie qui embarque les serveurs et les refroidit par sa pompe locale n’est pas d’Equinix, mais de Dell et de son partenaire Cool-IT. « Ce design nous permet en l’état de refroidir des baies qui dissipent jusqu’à 80 kW », lance Maliky Camara, directeur de la gamme serveur chez Dell France (au milieu à gauche sur la photo). Ili rappelle pouvoir ainsi installer 128 processeurs physiques dans une seule baie, avec ses 16 serveurs à 4,5 kW.

« Il s’agit d’un design désormais pleinement industrialisé. C’est Dell qui assemble vos serveurs dans la baie et qui l’achemine jusque dans le datacenter. »

« Il s’agit d’un design désormais pleinement industrialisé. C’est Dell qui assemble vos serveurs dans la baie et qui l’achemine jusque dans le datacenter. Certes, ce design ne relève pas encore d’un standard, mais c’est le lot des premières solutions disponibles sur le marché », argumente-t-il, en promettant que Dell se pliera à un Standard DLC, dès que le consortium Open Compute Platform (OCP) en aura validé un.

Outre la baie elle-même, avec ses arrivées et ses départs d’eau qui prennent la forme de robinets bleus et rouges à chaque étage, le design DLC de Dell concerne surtout les serveurs. Quatre modèles au catalogue du constructeur sont ainsi livrés avec des tuyaux flexibles préinstallés dans les machines, qui acheminent le liquide à la surface des CPU et GPU en passant par un capuchon en métal.  

Il est à noter que ces serveurs ont toujours besoin de ventilateurs pour refroidir le reste de la carte mère avec l’air à 35 °C. « Mais en vérité, ces ventilateurs consomment beaucoup moins d’énergie, car le reste des cartes mères n’a pas besoin d’autant d’air en circulation. En fait, dans ces systèmes, tout repose sur la maîtrise de la vitesse des flux. Nos systèmes sont capables de détecter la température des composants, d’ajuster en temps réel le débit de l’air et celui du liquide, pour une consommation de l’énergie optimale », conclut-il.