Samsung veut déplacer les calculs dans les barrettes mémoire
Les prochaines mémoires à technologie PIM du constructeur seraient capables d’exécuter elles-mêmes des fonctions de copie simples pour doubler les performances des algorithmes d’IA.
Des barrettes de mémoire DRAM qui intègrent elles-mêmes de la puissance de calcul, telle est la promesse que Samsung a faite lors de la conférence internationale Hot Chips qui se tenait cette semaine. Appelée PIM (Processing-In-Memory), la nouvelle technologie du fondeur devrait prendre place dans des barrettes AXDIMM (Acceleration DIMMs) pour serveurs et même au sein de composants LPDDR5-PIM pour portables d’ici à l’année prochaine.
Les fonctions de calcul intégrées aux barrettes mémoire sont très limitées ; elles se résument au déplacement de blocs de données d’un endroit à l’autre. Pour autant, Samsung promet qu’en évitant des allers-retours entre le processeur et sa mémoire pour des fonctions aussi simples, il deviendrait possible de rendre les algorithmes dits d’intelligence artificielle près de deux fois plus rapides. Les algorithmes dont il est ici question concernent le tri des images et la reconnaissance de sens dans du texte ou un flux audio.
Initialement prévu pour les supercalculateurs
Samsung avait évoqué sa technologie PIM dès le mois de février. À l’époque, elle ne devait servir qu’à équiper les mémoires HBM. Il s’agit d’un type particulier de composants RAM uniquement dédiés aux applications intensives et que l’on retrouve soit sur les cartes d’accélération GPU, soit à côté de composants dédiés comme les ASIC, plutôt dans les supercalculateurs.
Les mémoires HBM sont quatre à six fois plus rapides que les barrettes DDR car leurs composants superposent plusieurs circuits de RAM – huit chez Samsung – ce qui augmente la quantité de ports d’entrée-sortie : dans les 300 Go/s pour une barrette HDM2 contre 50 Go/s pour une DDR4. En revanche, cette construction fait aussi baisser la capacité : une barrette HBM chez Samsung offre 8 Go de capacité, contre 256 Go pour une barrette DDR4 du même prix.
Des prototypes d’accélérateurs dotés de mémoires Samsung HBM2 avec technologie PIM (dénommées Aquabolt XL) seraient en cours d’expérimentation chez certains centres de supercalcul. Selon les premiers tests, ces barrettes présenteraient aussi l’avantage de réduire de 70 % la consommation d’énergie, sans que l’on sache toutefois exactement si cette économie consiste à comptabiliser les 50 % de temps de travail en moins plus une baisse de régime du processeur.
80 % de bande passante en plus pour 40 % d’énergie en moins dans les serveurs
Selon Samsung, l’utilisation des circuits de calcul, uniquement au niveau d’une zone tampon, contribuerait à augmenter de 80 % la quantité de mouvement de données au sein de la mémoire.
Les barrettes de mémoire AXDIMM pour serveurs sont censées pouvoir directement s’insérer dans les slots DIMMs actuels des machines. Elles se comporteront comme des mémoires standard et leurs fonctions PIM devront être explicitement activées par logiciels. Samsung doit en ce sens proposer des kits de développement pour le langage Python, ainsi que pour le framework Caffe2. Ce dernier sert de socle aux algorithmes de Deep Learning.
Selon Samsung, l’utilisation des circuits de calcul, uniquement au niveau d’une zone tampon, contribuerait à augmenter de 80 % la quantité de mouvement de données au sein de la mémoire. Simultanément, elle réduirait de 42,6 % la quantité d’énergie normalement nécessaire pour déplacer ces données depuis le processeur.
Ces barrettes AXDIMM seraient en cours de validation chez SAP, qui les teste sur sa base de données en mémoire HANA. L’éditeur n’a pas encore partagé les résultats de ses expérimentations.
Vers un standard ?
Sur les PC, les composants LPDDR5-PIM n’existent pour l’heure qu’à l’état de simulation. Les démonstrations très théoriques de Samsung promettent que la précision des outils de dictée vocale, typiquement, serait plus que doublée tandis que leur consommation d’énergie serait réduite de plus de 60 %.
Outre les formats LPDDR5 typiques des PC portables et des appareils mobiles avec leur voltage inférieur, les composants seraient aussi déclinés en composants DDR5 (cartes mères) et GDDR6 (cartes graphiques) plus conventionnels.
Samsung assure travailler avec d’autres fabricants de mémoire pour standardiser la technologie PIM. Cette standardisation ne devrait toutefois pas être décidée avant le premier semestre 2022.
