L’IA neuro-symbolique, évolution de l’intelligence artificielle ?
L’unification de deux approches antagonistes est considérée comme une étape majeure dans l’évolution de l’IA. Le présent article traite des travaux des plus grands spécialistes du domaine qui visent à associer raisonnement symbolique et deep learning.
Les algorithmes symboliques jouent un rôle important dans l’histoire de l’IA, mais ils ne disposent pas de capacités d’apprentissage. Depuis que le superordinateur IBM Watson a battu Brad Rutter et Ken Jennings à Jeopardy en 2011 en utilisant le raisonnement symbolique, cette technologie s’est vue éclipsée par les réseaux neuronaux.
La puissance des réseaux de neurones repose notamment sur l’automatisation du processus de modélisation du monde qui nous entoure. Cette fonctionnalité a conduit à plusieurs avancées significatives dans le domaine de l’intelligence artificielle. Elle a permis l’émergence de modèles de deep learning (ou apprentissage profond) capables, par exemple, de vaincre les humains à des jeux de plus en plus complexes, comme le Go et StarCraft. Cependant, il peut s’avérer difficile d’atteindre l’étape de généralisation, c’est-à-dire de réutiliser ces modèles ou de les appliquer à de nouveaux domaines.
Aujourd’hui, les scientifiques comme les entreprises cherchent des moyens pour associer réseaux neuronaux et techniques d’IA symbolique.
Brenden Lake, NYU
« La modélisation neuro-symbolique est l’un des champs les plus prometteurs de l’IA à l’heure actuelle », affirme Brenden Lake, professeur adjoint en psychologie et data science à l’Université de New York (NYU). Son équipe s’attache à explorer divers procédés afin de combler le fossé entre les deux approches.
Des entreprises comme IBM s’efforcent également d’étendre ces concepts à la résolution de problèmes métier, confirme David Cox, directeur IBM du MIT-IBM Watson AI Lab.
Et d’ajouter : « D’après moi, ce qui manque encore à l’IA symbolique, ce ne sont pas des données ou des traitements spécifiques, mais le deep learning ».
À l’aide des chercheurs du laboratoire MIT CSAIL, de l’université de Harvard et de Google DeepMind, son équipe travaille à développer un nouveau data set de raisonnement vidéo à grande échelle. Celui-ci se nomme « CLEVRER : CoLlision Events for Video REpresentation and Reasoning » (événements de collision pour la représentation et le raisonnement vidéo). Il s’agit, à partir de vidéos, de permettre à l’intelligence artificielle de reconnaître des objets et de raisonner sur leurs comportements suivant des événements physiques avec beaucoup moins de données que ne l’exigent habituellement les systèmes de deep learning.
Des techniques d’IA rivales dotées d’atouts complémentaires
Le deep learning est passé maître dans l’art d’identifier des schémas à grande échelle et de comprendre des corrélations complexes dans des ensembles de données massifs, constate Brenden Lake de la NYU. Il peine en revanche à extraire la structure compositionnelle et causale des données, par exemple pour savoir construire de nouveaux concepts en combinant des objets existants ou pour appréhender le processus de génération de nouvelles données.
C’est là que les modèles symboliques s’avèrent complémentaires. Ils sont efficaces pour saisir la structure compositionnelle et causale, alors que les corrélations complexes leur posent problème. Unifier les deux approches permettrait donc de compenser leurs défauts.
C’est en tout cas ce qu’affirme Brenden Lake au sujet de l’IA neuro-symbolique.
Les limites de l’apprentissage par corrélation
Pour Hadayat Seddiqi, directeur du machine learning de la legaltech InCloudCounsel, le moment est venu de développer une approche d’apprentissage neuro-symbolique. « Dans son état actuel, le deep learning ne peut pas mémoriser des règles logiques, car sa force provient de l’analyse des corrélations entre les données », constate-t-il.
Hadayat Seddiqi,
InCloudCounsel
Cette caractéristique le rend efficace pour résoudre les cas où les règles logiques sont exceptionnellement complexes, multiples et, en fin de compte, difficiles à coder, par exemple lorsqu’il s’agit de décider dans quelle catégorie classer un simple pixel dans une image. Toutefois, les algorithmes de corrélation présentent de nombreux défauts.
« C’est l’une des principales raisons pour lesquelles le langage n’est pas entièrement modélisé par les systèmes existants de deep learning », ajoute Hadayat Seddiqi.
Le traitement symbolique est utilisé pour presque tous les types de programmation en dehors des algorithmes d’apprentissage statistique ; c’est donc d’une certaine manière un passage obligé dans tout système d’IA. De fait, Hadayat Seddiqi indique qu’il trouve souvent plus simple d’édifier quelques procédures logiques pour mettre en œuvre une fonction que de les déduire à l’aide du machine learning. Il arrive aussi fréquemment que les données nécessaires pour entraîner un modèle ML n’existent pas ou soient insuffisantes. Dans ces cas, des règles tirées d’une connaissance du domaine peuvent faciliter la génération de données d’entraînement.
C’est un point important, car tous les systèmes d’IA utilisés en conditions réelles sont confrontés à des données désordonnées. Le traitement symbolique peut contribuer à filtrer les informations non pertinentes. Ainsi, dans une application qui embarque l’IA pour répondre à des questions sur des contrats, une simple logique métier permet d’éliminer les données provenant de documents qui ne sont pas des contrats ou qui viennent d’un domaine différent (services financiers au lieu de transactions immobilières, par exemple).
Système 1 et système 2, deux modes de raisonnement
Le deep learning est mieux adapté au système 1 de pensée, note Debu Chatterjee, responsable de l’IA, du ML et de l’ingénierie analytique chez ServiceNow. Il fait ainsi allusion au paradigme développé par le psychologue Daniel Kahneman dans son ouvrage Système 1/Système 2 : les deux vitesses de la pensée (« Thinking, Fast and Slow » en VO). Le système 1 est rapide, associatif, instinctif et automatique.
Debu Chatterjee,
ServiceNow
D’après Debu Chatterjee, le deep learning, dans son état actuel, interprète les données qu’il reçoit du monde réel désorganisé, approximatif et probabiliste, et c’est très efficace. « Si vous l’appliquez à un ensemble de données suffisamment vaste, il peut aller bien au-delà de la perception humaine ».
Lorsqu’il traite des données complexes, le deep learning peut gérer des problèmes de perception pour établir si quelque chose est vrai, par exemple si une image contient un chat ou un chien. Mais les humains ont du mal à cerner les propriétés des systèmes de deep learning et à déterminer s’ils fonctionnent, ou dans quelles conditions ils sont efficaces ou pas. Ces systèmes demeurent, au premier abord, opaques à l’analyse humaine.
La force de l’IA symbolique réside dans sa représentation des connaissances et dans son raisonnement par la logique.
La force de l’IA symbolique réside dans sa représentation des connaissances et dans son raisonnement par la logique. Elle est en cela plus proche du système 2 de pensée de Daniel Kahneman, qui est lent, et exige des efforts et de l’attention. Le raisonnement symbolique est modulaire et plus facile à élargir. Il dépend d’une logique sous-jacente relativement simple qui repose sur la véracité des choses, et sur des règles permettant de déduire de nouveaux concepts à partir de faits déjà établis. Les humains peuvent ainsi comprendre comment les résultats ont été atteints.
En revanche, le raisonnement symbolique a une faiblesse de taille : il ne tolère pas l’ambiguïté qui peut exister dans la réalité. Il suffit d’une hypothèse fausse pour que toutes les conclusions deviennent plausibles, ce qui rend le système totalement inopérant.
« De nombreuses tentatives d’améliorer la logique pour résoudre ce problème se sont soldées par des échecs », explique Debu Chatterjee. À l’inverse, les problèmes de perception complexes peuvent nécessiter des ensembles de règles trop volumineux pour que l’application intelligente puisse les gérer.
« Pour être efficient, un système d’IA doit savamment mêler deep learning et propriétés symboliques », affirme Debu Chatterjee. Autrement dit, il doit à la fois percevoir finement les choses et être capable d’en déduire de nouvelles à partir de faits existants.
Avantages pratiques d’une IA neuro-symbolique
Développer une IA neuro-symbolique apporte de nombreux avantages pratiques, dont l’un des plus importants est la capacité à coder automatiquement de meilleures règles pour l’approche symbolique.
« Avec l’IA symbolique se posait toujours la question de l’extraction de ces fameux symboles », observe David Cox d’IBM. En effet, le monde se présente aux applications qui recourent à l’IA symbolique, sous la forme d’images, de vidéos et de langage naturel, qui ne sont pas à proprement parler des symboles.
« Nous découvrons que les réseaux neuronaux peuvent mener au domaine symbolique. »
David CoxDirecteur du MIT-IBM Watson AI Lab, IBM
« Nous découvrons que les réseaux neuronaux peuvent mener au domaine symbolique, puis qu’il est possible d’utiliser plusieurs idées issues de ce concept pour comprendre le monde », explique David Cox.
Une autre façon de combiner ces deux paradigmes consiste à employer les réseaux neuronaux pour hiérarchiser l’organisation des programmes symboliques puis à explorer les nombreux attributs liés à une question. Par exemple, pour qu’une IA puisse déterminer si un énoncé est vrai, un algorithme symbolique devra analyser la pertinence de milliers de configurations de faits.
Or, les humains savent souvent par intuition quels phénomènes pourront s’avérer intéressants dans le cadre d’une recherche. Ainsi, un système expert de diagnostic médical devra, pour formuler une recommandation de soin, comparer le dossier du patient avec les symptômes qui l’amènent à consulter. À l’inverse, un médecin expérimenté, au vu de l’état général de la personne, trouvera rapidement vers quel diagnostic s’orienter ou quels examens effectuer.
Autre avantage à associer les techniques : l’IA devient plus facile à comprendre. Les humains pensent le monde en symboles, tandis que les réseaux de neurones codent leurs modèles sur la base de patterns activés.
« Notre approche est de nous servir des réseaux neuronaux comme d’une passerelle vers le domaine symbolique », explique David Cox, faisant référence aux travaux engagés par IBM et ses partenaires.
Le traitement symbolique apporte des garanties formelles qu’une hypothèse est correcte, ce qui a son importance quand le chiffre d’affaires est en jeu, et que les entreprises ont besoin de prouver que le modèle se comportera d’une façon prévisible pour des personnes en chair et en os. À l’inverse, un réseau neuronal aura beau avoir raison la plupart du temps, lorsqu’il se trompe, les facteurs ayant généré une mauvaise réponse ne sont pas toujours apparents.
Repousser les limites du traitement du langage naturel
Le monde du deep learning a accompli d’énormes progrès dans l’utilisation de nouvelles techniques à l’instar des « Transformers » pour les tâches de compréhension du langage naturel. Toutefois, il ne s’agit pas d’une véritable connaissance, tout du moins pas selon le mode de fonctionnement du traitement symbolique, comme l’argumente David Cox. Il explique que les modèles Transformer tels que BERT de Google et GPT d’OpenAI s’attachent en réalité à découvrir des régularités statistiques. Ce fonctionnement s’avère efficace, mais on ne peut pas vraiment parler de compréhension.
Les chercheurs en IA comme Gary Marcus rapportent que ces systèmes ont du mal à répondre à des questions du type « Quelle est la direction d’un clou enfoncé dans le sol ? » Il n’est guère probable que ce genre d’interrogation soit posé par écrit.
« Aussi impressionnantes qu’elles soient, les avancées comme les Transformers ne suffisent pas en matière de NLU », admet David Cox.
David Cox, IBM
Hadayat Seddiqi pense que de nombreux progrès viendront du traitement du langage naturel (ou NLP, Natural Language Processing). Le langage est un type de données qui, aux niveaux les plus bas, s’appuie sur des correspondances avec des schémas statistiques, mais qui a rapidement besoin d’un raisonnement logique aux niveaux supérieurs. Ainsi, améliorer les performances des systèmes NLP consistera sans doute à doter les réseaux neuronaux profonds de capacités de raisonnement logique.
Le plus grand espoir dans ce domaine serait de s’inspirer des expériences réalisées en physique des particules, domaine dans lequel les scientifiques construisent d’énormes accélérateurs pour bombarder des atomes et observer leur comportement. En traitement du langage naturel, des chercheurs ont bâti de vastes modèles basés sur des volumes massifs de données. Ils emploient des réseaux de neurones avec plus de cent millions de paramètres (dont l’entraînement coûte des millions de dollars). L’étape suivante consiste à étudier ces réseaux pour voir en quoi ils permettent d’améliorer l’élaboration des représentations symboliques requises pour les tâches linguistiques de niveau supérieur.
De fait, selon Debu Chatterjee, une grande partie des travaux en « IA explicable » (XAI, Explainable AI) semblent focalisés sur la déduction des concepts et règles sous-jacents. Ces efforts pour mettre en lumière les rouages internes des modèles d’IA dans un cas d’usage particulier paraissent plus faciles à expliciter que les pondérations dans un réseau neuronal.
L’évolution de l’IA, et c’est un facteur clé, dépend de l’élaboration d’un framework commun qui permettra d’intégrer simplement le deep learning et la logique symbolique. « Sans un tel cadre, les deux approches resteront non solubles l’une dans l’autre, comme l’huile et l’eau », conclut-il.
Pour approfondir sur Intelligence Artificielle et Data Science
Brenden Lake, NYU
Hadayat Seddiqi,
Debu Chatterjee,
David Cox, IBM
