Deep Learning et apprentissage par renforcement repoussent les limites de l’IA

L’apprentissage par réseaux de neurones profonds (Deep Learning) a excellé dans des tâches comme la classification pour la reconnaissance d’images et de la parole. Les techniques d’apprentissage par renforcement, elles, ont excellé dans la création de systèmes qui s’auto-améliorent par essais/erreurs pour, par exemple, mettre au point des bots capables de maîtriser des jeux ou des moteurs de recommandation.

Lors du Re-Work Deep Reinforcement Learning Summit à San Francisco, plusieurs chercheurs en Intelligence Artificielle ont expliqué qu’ils exploraient une combinaison des deux approches pour créer des algorithmes d’apprentissage par renforcement plus automatisés et plus optimisés.

« Au cours des six dernières années, nous avons concentré nos efforts pour rendre cette combinaison plus stable et plus fiable », explique Marc Bellemare, chercheur chez Google Brain.

Une grande partie des précédents travaux de son équipe dans l’apprentissage par renforcement avait été d’élaborer les caractéristiques utilisées ensuite par les algorithmes dans des applications comme les jeux vidéo ou la recommandation de traitements médicaux.

« Maintenant, avec les réseaux profonds, nous pouvons automatiser ce processus et permettre au système de découvrir ses caractéristiques par lui-même. Cela s’est avéré très puissant ».

Les jeux vidéo Atari ont été un champ naturel à la plupart de ces recherches. Ils sont assez simples et permettent donc de mesurer facilement la précision et la performance des différents algorithmes. En d’autres termes, ces environnements sont idéaux pour développer les fondamentaux de la double approche.

Marc Bellemare espère aujourd’hui transférer ces méthodes à la résolution de problèmes plus complexes. Google a même créé un framework open source – Dopamine (du nom de la molécule qui, semble-t-il, favorise l’apprentissage par renforcement chez l’homme) – pour développer et tester des algorithmes d’apprentissage par renforcement profond (« Deep Reinforcement Learning »).

L’apprentissage par renforcement existe depuis plus de 30 ans. Mais ses progrès se sont accélérés au cours des six dernières années… avec l’avènement du Deep Learning. Marc Bellemare estime même que l’ajout du Deep Learning a permis de tripler les performances de l’apprentissage par renforcement.

L’un des progrès les plus importants a été la mise au point de techniques d’apprentissage par renforcement distributif. Plutôt que de se concentrer uniquement sur les résultats de sortie d’un algorithme, ces techniques tentent de prédire également la variété et la dispersion de ces résultats.

Les chercheurs ont également constaté des améliorations spectaculaires dans la faculté à automatiser le développement d’algorithmes d’apprentissage par renforcement, ainsi que dans la capacité d’étendre leur exécution à des clusters de compute distribués.