putilov_denis - stock.adobe.com

Conseil

Réseau : quelle infrastructure de communication pour l’IA ?

Parce que l’IA nécessite de communiquer de nombreux flux parallèles entre chaque GPU et chaque source de données, les topologies classiques ne fonctionnent pas. Cartes accélérées, réseau Clos et outils automatisés sont nécessaires.

par
Publié le: 03 mai 2024

L’essor rapide de l’intelligence artificielle met en évidence le besoin de réseaux puissants et efficaces dédiés à la prise en charge des traitements spécifiques. Les datacenters construits pour l’IA ont des exigences différentes de celles de leurs homologues conventionnels et même de celles des centres de calcul à haute performance.

Leur particularité ? Ils doivent interconnecter les serveurs et le stockage avec des liens qui passent par les GPU et par des cartes réseau SmartNIC, voire par des DPU, qui accélèrent spécifiquement les flux liés au Machine learning et même à l’inférence. En pratique, la difficulté réside dans le fait de maintenir des débits très élevés et une très grande densité de ports réseaux dans les étagères rack. Il faut utiliser des protocoles et des outils de contrôle appropriés.

Les trois exigences essentielles pour des réseaux supportant des traitements d’IA sont les suivantes :

Faible latence, débit élevé du réseau. La moitié du temps consacré au traitement des charges de travail d’IA se déroule dans le réseau. Les architectures de réseau HPC sont conçues pour traiter des milliers de charges de travail petites, mais simultanées. En revanche, les flux d’intelligence artificielle sont peu nombreux, mais massifs.

Densité de ports horizontalement élastique. Les données d’apprentissage en IA utilisent un grand nombre de GPU connectés au réseau qui traitent les données en parallèle. Ainsi, le nombre de connexions réseau peut être huit à seize fois supérieur à la norme d’un centre de données. La transmission rapide entre les GPU et le stockage exige que la structure de commutation soit entièrement maillée avec des ports non bloquants, afin de fournir les meilleures performances réseau est-ouest (c’est-à-dire des communications de pair-à-pair, plutôt que des communications d’une multitude de serveurs qui convergent vers une baie de stockage).

Élimination des erreurs d’origine humaine. Les traitements de l’IA sont généralement très volumineux. Jusqu’à 50 % du temps consacré à l’entraînement des modèles est du transport de données sur le réseau. Les GPU doivent effectuer tous les traitements sur les données d’entraînement avant que les applications d’IA puissent utiliser les informations qui en résultent. Toute perturbation ou tout ralentissement – aussi mineur soit-il – au cours de ce processus peut entraîner des retards importants. Les configurations manuelles sont le principal responsable des pannes ou de la dégradation du réseau. Les configurations de l’infrastructure d’IA doivent être résilientes et exemptes d’erreurs humaines.

Les clés d’un réseau adapté à l’IA

Pour répondre aux besoins susmentionnés en vue d’une gestion optimale des charges de travail liées à l’IA, les réseaux des centres de données modernes sont de plus en plus souvent dotés d’un réseau accéléré, d’une topologie de type Clos et d’une automatisation intelligente.

Le réseau accéléré. Les mécanismes de transport physique et logique spécialisés minimisent la latence du réseau dans le traitement des charges de travail d’IA. Ainsi, l’InfiniBand offre des améliorations en termes de vitesse, de latence et de fiabilité par rapport à l’Ethernet standard pour les traitements en IA. L’inconvénient, cependant, est que l’InfiniBand est un protocole propriétaire qui utilise un câblage spécialisé. Ces deux facteurs augmentent le coût du déploiement par rapport à une infrastructure Ethernet.

Une alternative à InfiniBand existe déjà dans le centre de données : le câblage Ethernet standard peut transporter des charges de travail d’IA de manière plus optimale à l’aide du protocole RDMA over Converged Ethernet, communément appelé RoCE. Ce protocole basé sur Ethernet offre un transport de données à faible latence et à haut débit, ce qui correspond exactement aux exigences des flux de travail d’IA.

Normalement, seuls des switches compatibles RoCE sont nécessaires pour utiliser ce protocole. Néanmoins, il est utile de doubler l’utilisation de RoCE avec des cartes réseau intelligentes, dites SmartNIC, éventuellement pourvues ou doublées de DPU, des puces d’accélération dédiées au décodage des communications de données typiques des traitements d’IA. Les DPU sont des processeurs programmables qui transfèrent des données et traitent plusieurs tâches simultanément. En traitant des fonctions de décodage réseau, ils libèrent des ressources de calcul sur les serveurs pour l’entraînement des données.

Les réseaux Clos à 3 et 5 étages. Les réseaux conçus pour transporter des charges de travail d’IA utilisent généralement une architecture de réseau Clos non bloquante à trois ou cinq étages.

Un réseau Clos est un type de réseau de commutation non bloquant, à plusieurs étages, utilisé aujourd’hui dans le maillage des switches des grands centres de données, notamment ceux des hyperscalers. Le concept a été introduit dans les années 1950 pour accroître l’efficacité des réseaux de commutation téléphoniques et contribuer à réduire leurs coûts. Il s’agit d’une topologie qui minimise le nombre de relais d’interconnexion entre deux points du réseau, en alignant au milieu du réseau une colonne de switches, chacun relié à tous les points du réseau, qui se partagent les communications.

On parle de réseau Clos à trois étages quand la colonne de switches centrale (étage intermédiaire) est directement reliée aux sources de données (étage 1) et aux destinations de ces données (étage 3). Dans cette configuration, chaque nœud du réseau a un lien Ethernet pour les données sortantes (étage 1) et un autre pour les données entrantes (étage 3). Et l’on parle de réseaux Clos à cinq étages quand des grappes de sources et de destinations sont constituées, chacune autour d’un switch pour les données sortantes et autour d’un switch pour les données entrantes.

Cette conception permet à de nombreux GPU de traiter les données en parallèle. Dans cette architecture, un réseau peut gérer une densité de ports huit à seize fois supérieure à celle des réseaux de centres de données conventionnels. La conception Clos permet essentiellement d’améliorer l’efficacité du transfert des données entre les GPU et le stockage.

Outils d’administration avec automatisation intelligente. L’élimination de l’erreur humaine dans les opérations de réseau des centres de données est un objectif de plus en plus demandé. Les outils d’orchestration de réseau s’attaquent à ce problème grâce à une automatisation intelligente. Ces outils remplacent les processus de configuration manuelle, par des capacités d’IA qui effectuent toutes seules les tâches de configuration.

Les outils d’orchestration de réseau améliorés par l’IA peuvent uniformiser les configurations sur l’ensemble du réseau et déterminer si les changements de configuration perturberont d’autres parties du réseau. Ces plateformes d’orchestration de réseau vérifient et valident en permanence les configurations de réseau existantes. Elles peuvent analyser l’état des composants du réseau et les données relatives aux performances en vue d’une optimisation. Si le système identifie des changements de configuration pour optimiser le transport des flux de données, il peut dès lors effectuer ces changements sans intervention humaine.

Pour approfondir sur LAN, Wifi