NLP : les benchmarks GLUE et SQuAD ne sont pas conçus pour les développeurs

Des benchmarks qui évoluent rapidement

« Lentement, mais sûrement, l’évolution des benchmarks comme GLUE, SQuaD et Race aide les algorithmes d’interprétation automatisée de textes à se rapprocher de la compréhension humaine », explique Satyakam Mohanty, vice-président du service IT mondial de L&T Infotech.

Ces critères comprennent l’implication lexicale (la relation logique entre deux verbes), le découplage du bon sens de la connaissance, l’identification des dépendances syntaxiques (le mot ou le groupe de mots dont dépend la structure d’une phrase) et des coréférences (les éléments d’une phrase qui désignent la même entité). Ils sont essentiels à la compréhension d’une langue.

« Auparavant, il était difficile de modéliser et de prédire à partir d’un échantillon de phrases. La validation reste également difficile », explique Satyakam Mohanty.

C’est à ce moment qu’entrent en jeu ces cadres de développement. Ils aident à concevoir des modèles préentraînés pour des ensembles de données étiquetés, réalisés par des experts en linguistique. Par exemple, en utilisant l’implication lexicale avec GLUE, une personne peut facilement développer un module en s’appuyant sur un modèle préentraîné.

De même, SQuAD aide à répondre à des questions sur les paragraphes ou phrases non structurés. Les réponses ne seront pas correctes à 100 %, mais le benchmark aide à atteindre une précision de 60 à 70 %. Si ce score paraît faible pour certains spécialistes, ils peuvent toujours utiliser un modèle préconçu, puis l’affiner sans le reconstruire de zéro.

Différents phénomènes linguistiques à évaluer

Il est également important de garder à l’esprit que les benchmarks mesurent les phénomènes linguistiques de manière scientifique dans un environnement contrôlé, et que les résultats dans le monde réel peuvent varier, précise Hadayat Seddiqi, directeur de l’apprentissage machine chez InCloudCounsel.

Ces outils d’évaluation sont facilement battus par les meilleurs modèles, mais les chercheurs se rendent compte qu’ils comportent des lacunes à exploiter afin d’optimiser les modèles NLP. Les développeurs sont plus soucieux de construire quelque chose d’utile que de comprendre un phénomène autour du langage et de le perfectionner. 

« C’est mauvais pour la science, mais pas nécessairement pour les applications commerciales », corrobore Hadayat Seddiqi.

Les développeurs doivent savoir dans quelle mesure certains phénomènes du langage doivent être modélisés en profondeur, et quand ils peuvent l’être en surface. Les meilleurs modèles actuels montrent qu’ils peuvent répondre à des questions avec les mêmes performances qu’un humain (dans les cas de GLUE et SQuAD), mais ils ne permettent pas de généraliser les résultats en dehors d’ensembles de données sélectionnés pour l’expérience.

« Cela en dit long sur la puissance et l’utilité de ces modèles, mais cela en dit tout autant sur l’ensemble de données sur lequel vous les entraînez », explique Hadayat Seddiqi.

Vers de meilleurs modèles NLP

D’une certaine manière, ces progrès récents sont à l’image de l’explosion des nouvelles techniques de computer vision, après la publication du vaste ensemble de données d’ImageNet. Ces nouveaux modèles de langage reposaient sur quelques milliers de jeux de données, étiquetés à des centaines de milliers aujourd’hui. Des ensembles de données comme GLUE ont élargi la portée des tests en multipliant les types de défis. Ce phénomène a facilité la création d’algorithmes compatibles avec de nombreux cas d’usage différents.

« Je crois que les progrès étonnants que nous constatons dans le NLP sont favorisés par l’évolution des benchmarks », expose Reggie Twigg, directeur du marketing produit chez ABBYY, un fournisseur d’outils d’OCR.

Ceux qui cherchent à appliquer le NLP veulent un algorithme permettant de comprendre des textes à des fins diverses ; de l’identification, de la classification à l’extraction d’entités dans des processus commerciaux.

Tous les benchmarks – GLUE, SQuAD et RACE – répondent à ce besoin. En clair, ils favorisent la création de modèles NLP capables d’extraire des informations importantes à partir de données non étiquetées et semi-structurées dans des documents et des messages connexes, tels que des mails.

« L’un des dangers des benchmarks, cependant, est qu’ils peuvent encourager les développeurs à se concentrer sur des améliorations incrémentales pour faire grimper leur algorithme dans le classement associé. Cela peut les décourager de proposer des approches plus risquées, mais innovantes », tempère Daniel Kobran, COO et cofondateur de Paperspace, une plateforme de développement d’intelligence artificielle.

Qui dit performance ne dit pas facilité d’intégration

Bien que les améliorations apportées aux outils d’évaluation reflètent de réels progrès, il est important de garder à l’esprit que ceux-ci sont élaborés par et pour les chercheurs en NLP. Ils doivent fournir une mesure objective des performances. Ainsi, ces scientifiques peuvent décider quels résultats et quelles approches valent la peine d’être poursuivis et publiés.

« Les développeurs ne font pas partie du public visé, pas plus que les techniciens d’une équipe qui mettent les modèles en production », assure Nate Nichols, directeur distingué de Narrative Science, un fournisseur d’outils de génération de langage naturel.

Toutes les autres considérations devraient être au moins aussi importantes que les performances tirées des benchmarks NLP. Il s’agit notamment d’évaluer la facilité de déploiement et la maintenance, la capacité à s’intégrer dans les flux de travail existants, la charge de travail requise, l’expérience et l’expertise internes, ainsi que le coût.

« Vous pouvez comparer ces benchmarks NLP à des bancs d’essai pour mesurer la puissance en chevaux et le couple d’une voiture » simplifie Nate Nichols. « Si vous achetez une voiture, le fait de connaître sa puissance peut vous donner une idée de ses capacités lors d’une course. Mais pour la plupart des gens, ce n’est qu’un critère d’évaluation parmi d’autres au moment de choisir un véhicule ».

Les autres facteurs à prendre en compte sont la taille, la vitesse, la puissance de traitement et la consommation d’énergie. Par exemple, le BERT de Google a inspiré divers modèles NLP comme le TinyBERT de Huawei, qui est sept fois plus grand et neuf fois plus rapide.

« Les projets de NLP n’échouent généralement pas parce que le modèle ou l’approche sous-jacente n’a pas été suffisamment performant par rapport à certains critères », précise Nate Nichols. « Ils échouent parce qu’il n’y a pas assez de données pour l’entraînement, ou parce qu’il n’y avait pas un niveau d’expertise suffisant pour déployer et maintenir le modèle, ou parce que l’application ou le produit entourant le composant NLP a changé de direction », conclut-il.