Certains considèrent les réseaux antagonistes génératifs (Generative adversarial networks ou GAN dans la langue de Shakespeare) comme la technologie la plus prometteuse en cours de développement dans le domaine de l’IA, mais ils peuvent être aussi déroutants à entraîner qu’ils sont puissants.
En leur essence, les GAN sont constitués de deux réseaux de neurones qui « discutent ensemble », ainsi que d’un jeu de données « Ground Truth », explique Chris Nicholson, fondateur et PDG de Pathmind. [Ground Truth est parfois traduit par vérité terrain ou vérité fondamentale. Cette expression fait référence à la vérification de la précision d’un algorithme par rapport à des données réputées fiables N.D.L.R].
Chris Nicholson estime que les réseaux antagonistes font partie d’une branche plus large des algorithmes de machine learning génératifs, dont les modèles NLG tel GPT-3.
Les GAN représentent de puissants outils. Dans leur premier champ d’application, ils peuvent altérer des images réelles d’un environnement à un autre – par exemple, modifier un paysage d’été en une scène d’hiver ou une scène de jour en une scène de nuit. Ces nouvelles illustrations peuvent également être des versions supérieures de photographies existantes.
Certains de ces modèles sont capables de générer des portraits fictifs forts ressemblant aux visages de véritables individus. Une fois que les chercheurs constatent leur pouvoir dans un domaine, ils peuvent entamer une réflexion sur la manière de l’étendre à d’autres, comme la fabrication artificielle de meilleures données d’entraînement. Mais les data scientists doivent d’abord franchir l’obstacle de la formation des réseaux antagonistes génératifs.
Comment les réseaux antagonistes génératifs sont-ils entraînés ?
L’apprentissage des GAN commence par la création de deux réseaux neuronaux convolutifs qui se font concurrence – voilà l’origine du terme « antagoniste ». Un réseau appelé discriminateur apprend à reconnaître les images d’un domaine spécifique – pensez aux chats blancs ou aux canapés en cuir. L’apprentissage est standard, supervisé, avec un ensemble de données qui contient à la fois des images réelles et factices.
« Le réseau le plus intéressant est l’autre, le générateur », considère Adrian Zidaritz, data scientist et auteur.
Le réseau de neurones générateur tente de créer des images si précises que le discriminateur les classe comme réelles. Les deux protagonistes de cet échange apprennent les forces et les faiblesses de l’autre pour mieux s’acquitter de leur tâche. Cet entraînement s’appuie sur un jeu à somme nulle : chacun subit une pénalité chaque fois que l’autre gagne.
L’un des plus grands défis de la formation des GAN est le développement d’un algorithme permettant de créer des images uniques du côté du générateur. Comme l’a fait remarquer Adrian Zidaritz, il est plus facile de reconnaître quelque chose que de créer une image (ou un texte, par extension) originale.
Le discriminateur a une longueur d’avance sur la concurrence, car il est déjà entraîné sur un ensemble de données. Si le discriminateur est trop performant, il ne permet pas au générateur d’apprendre assez vite pour le défier. En conséquence, les paramètres du générateur peuvent ne pas converger, rebondissant continuellement. La convergence est atteinte lorsque les deux réseaux atteignent un équilibre dit de Nash, c’est-à-dire un état où aucun des réseaux de neurones ne peut obtenir une amélioration significative par un ajustement mineur. Le générateur peut aussi entrer dans un état d’effondrement, dans lequel il ne parvient pas à produire de bonnes images candidates ou aucune image du tout.
Les défis de l’entraînement
L’apprentissage des modèles de machine learning et de deep learning est déjà un processus complexe, et la dualité des réseaux antagonistes génératifs alimente l’instabilité.
« Entraîner un seul réseau neuronal peut être difficile, donc en former deux simultanément pour faire ce que vous voulez, ajoute encore plus de complexité à cette tâche », considère Chris Nicholson.
Pour simplifier l’approche d’entraînement, Chris Nicholson trouve intéressant de considérer un réseau d’un GAN comme un faussaire et l’autre comme un policier. Au fur et à mesure de leur interaction, ils devraient tous deux s’améliorer dans leur travail, jusqu’à ce que, finalement, le faussaire soit capable de réaliser des « contrefaçons » qui tromperaient un humain. Il est important de s’assurer qu’ils apprennent à peu près au même rythme, donc il conviendrait de se concentrer sur le générateur.
« Si l’un devient trop bon, il est difficile pour l’autre de le rattraper », insiste Chris Nicholson.
« La plupart [des erreurs d’entraînement] sont dues au fait que la pratique ne correspond pas tout à fait à la théorie, et nous apprenons donc les propriétés des réseaux antagonistes qui doivent être corrigées. »
William FalconCo-fondateur et PDG de Grid.ai
Le problème majeur de l’entraînement des réseaux de neurones provient des paramètres de contrôle appelés hyperparamètres. Ces hyperparamètres sont significativement différents lors de la production entre le générateur et le discriminateur. Certains modes d’optimisation facilitent la formation des réseaux neuronaux, mais les paramètres varient tellement entre les tâches multiples qu’il est complexe de les uniformiser.
William Falcon, co-fondateur et PDG de Grid.ai, une plateforme d’entraînement d’algorithmes, fait valoir que les experts résolvent souvent ce décalage en recourant à beaucoup d’astuces.
« La plupart [des erreurs d’entraînement] sont dues au fait que la pratique ne correspond pas tout à fait à la théorie, et nous apprenons donc les propriétés des réseaux antagonistes qui doivent être corrigées », estime William Falcon.
Par conséquent, la plupart des mises en œuvre de GAN sont instables à l’entraînement, à moins que les développeurs n’aient une compréhension approfondie du domaine particulier dans lequel ils travaillent. « Il existe des moyens de contourner ces problèmes, mais ils sont très spécifiques au sujet et peu de gens connaissent toutes les astuces pour les faire fonctionner », prévient William Falcon.
Un autre défi inhérent aux réseaux de neurones impose souvent leur totale reconstruction une fois que les données ont été modifiées. William Falcon recommande de commencer avec un produit prêt à l’emploi réputé pour son succès dans un domaine spécifique, puis de construire le nouveau GAN à partir de ce produit. Une fois que vous maîtrisez le travail avec les réseaux de neurones, il est plus facile d’explorer les cas d’usage adjacents.
Un retour à la théorie nécessaire
« Comme dans beaucoup d’autres domaines d’apprentissage profond, les gens obtiennent de bons résultats en expérimentant constamment. »
Adrian ZidaritzData scientist et auteur
Adrian Zidaritz déclare qu’étant donné que les applications positives des GAN ont stimulé la demande, les chercheurs se sont concentrés sur les méthodes permettant de faciliter la tâche d’entraînement, plutôt que sur les bases théoriques de l’algorithme. Par exemple, les data scientists s’efforcent toujours de comprendre l’efficacité des diverses fonctions de coût proposées, pour résoudre le problème connu et persistant de la disparition des gradients. Dans ce cas, l’entraînement du réseau de neurones atteint un point où il n’y a pas de moyen commode d’ajuster les poids relatifs des neurones pour les améliorer davantage.
À long terme, Adrian Zidaritz s’attend à ce que ces problèmes soient solutionnés grâce à une recherche continue et à un retour aux travaux théoriques.
« Comme dans beaucoup d’autres domaines d’apprentissage profond, les gens obtiennent de bons résultats en expérimentant constamment, et en rendant l’entraînement d’un réseau antagoniste plus un art qu’une science basée sur des règles [strictes] », conclut-il.
Pour approfondir sur Intelligence Artificielle et Data Science
