Processeurs : les promesses d’AWS avec Graviton3E et Nitro v5
Disponible en 2023 au sein des machines virtuelles C7gn et HPC7g, le processeur Graviton3E doit apporter 35 % de performances en plus et le DPU Nitro v5 doit réduire la latence réseau.
AWS a dévoilé à l’occasion de son récent salon re:Invent2022 une version améliorée de son processeur ARM, le Graviton3E (photo ci-dessus : Peter DeSantis, senior VP of AWS Utility Computing). Il est environ 35 % plus performant que le Graviton3 présenté l’année dernière. Le numéro 1 des hébergeurs de cloud public a aussi détaillé le DPU Nitro v5, également basé sur une architecture ARM. Utilisé pour décoder à la volée les paquets réseau, il atteint une bande passante de 200 Gbit/s par carte réseau, soit deux fois mieux que le précédent Nitro v4.
Le Graviton3E reprend toutes les caractéristiques déjà évoquées en 2021 : une finesse de gravure en 5 nm, un jeu d’instruction ARMv8.5, 64 cœurs avec chacun 1 Mo de cache L2 propre et 1 Mo de cache L3 partagé (soit 128 Mo de cache en tout), une bande passante de 307 Go/s vers de la mémoire DDR5, 32 canaux PCIe 5.0. La différence est que la fréquence grimpe désormais à 3,5 GHz, contre 2,6 GHz jusqu’ici.
Ce processeur sera disponible en 2023 sur EC2 (l’offre IaaS d’AWS) au travers des nouvelles instances C7gn (avec un nombre variable de cœurs et de RAM) et HPC7g (avec 64 cœurs et 128 Go de RAM). AWS compte sur ces instances pour promouvoir dans son cloud des machines virtuelles à la fois dédiées au calcul et économiques.
Les serveurs à base de Graviton3E qui exécutent ces instances seront également équipés d’une ou deux cartes réseau embarquant chacune un DPU Nitro v5. Alors que le Nitro v4 reposait sur une architecture plus ancienne que celle du Graviton3, avec une finesse de gravure de 7 nm et des bus DDR4/PCIe 4.0, le Nitro v5 se cale sur les caractéristiques physiques du Graviton3E (5 nm, DDR5/PCIe 5.0). En revanche, AWS n’a pas véritablement documenté le contenu du Nitro v5 en termes de nombre de cœurs, de cache, de fréquence.
Repenser la topologie pour réduire la latence
On sait néanmoins que le Nitro v5 a été conçu pour optimiser les flux selon une nouvelle topologie réseau baptisée SRD (Scalable Reliable Datagram). Selon les diagrammes présentés par AWS, la topologie traditionnelle du réseau est considérée comme une arborescence : un serveur communique avec un switch, lequel route ses paquets vers plusieurs switches, eux-mêmes reroutant les paquets vers un certain nombre de switches et ainsi de suite. En SRD, les switches forment une grille.
Pour aller d’un serveur à un autre, les données ne pénétreraient plus une succession de sous-réseau, mais parcourraient un quadrillage en passant par les liens les moins congestionnés. Et au-delà de la bande passante disponible par lien, certaines interconnexions seraient jugées plus rapides – « offrant moins de latence » – car les cartes réseau auraient dans leur cache des données similaires déjà décodées.
Cette topologie réseau est concrétisée dans la pile de logiciels systèmes d’AWS par des pilotes ENA (Elastic Network Adapter), pour les cartes réseau, et EFA (Elastic Fabric Adapter), pour les switches. Les nouvelles versions de ces pilotes amélioreraient notamment le trafic des protocoles de stockage de type NVMe/TCP ou NVMe/RoCE. Pour AWS, l’enjeu est d’offrir aux machines virtuelles des volumes en mode bloc aussi rapides que s’il s’agissait de SSD internes aux serveurs, alors qu’ils seront distribués depuis un pool, dans une baie externe, moins chère.
2023 et au-delà
Parallèlement à cette architecture, AWS a aussi évoqué l’arrivée d’instances R7iz. Celles-ci seront exécutées depuis des serveurs basés sur les tout derniers processeurs Xeon Sapphire Rapids d’Intel à 3,9 GHz. Alors que les instances à base d’ARM serviront plutôt de ferme de calcul, celles à base de x86, avec des capacités mémoire jusqu’à huit fois supérieures, se destineront à exécuter le tout venant des applications qui reposent sur des bases de données.
Fin 2023, AWS devrait en toute logique annoncer un Graviton4 basé sur des cœurs ARM Neoverse N2 et un jeu d’instruction ARMv9. Cette nouvelle génération de cœurs sera en théorie plus adaptée à l’exécution des algorithmes de Machine Learning.
Les DPUs Nitro étant quant à eux basés sur les développements internes d’Annapurna Labs, une entreprise de design de cœurs ARM qu’AWS avait rachetée en 2015, il est difficile de dire si les évolutions futures basculeront sur des cœurs Neoverse E3. Ces derniers, en cours de mise au point par ARM, sont justement censés repenser les communications sous la forme d’une matrice.