Patrick Daxenbichler - Fotolia
Les leçons à retenir du controversé BlenderBot 3 de Meta
Le lancement par Meta du chatbot d’IA BlenderBot 3 soulève des inquiétudes quant à la responsabilité des entreprises qui utilisent des données en provenance d’Internet afin d’entraîner leurs systèmes d’IA. De son côté, le groupe assume la toxicité relative de son modèle de deep learning, qu’il semble percevoir comme un moyen de récolter des données sur les conversations à éviter.
Le 5 août, le géant des réseaux sociaux a présenté BlenderBot 3 dans un billet de blog. Ce chatbot a été construit sur le modèle de langage Open Pretrained Transformer, ou OPT. Avec OPT-175, l’idée des chercheurs du groupe était d’égaler, voire de surpasser, un autre modèle de langage autorégressif, le célèbre GPT-3 d’OpenAI et ses 175 milliards de paramètres.
S’il dispose du même nombre de paramètres, BlenderBot 3 s’appuie sur l’architecture de SeeKeR, un modèle de langage capable de faire appel à un moteur de recherche.
Meta affirme que le chatbot peut rechercher des données sur Internet pour converser sur n’importe quel sujet. Meta a également indiqué dans son article de blog que, au fur et à mesure que les gens interagissent avec le système, elle utilise les données pour améliorer l’assistant virtuel.
Les internautes ont rapidement poussé BlenderBot 3 dans ses retranchements. Des articles ont évoqué le fait que le chatbot était non seulement antisémite, mais aussi pro-Trump, et qu’il recrachait des diatribes conspirationnistes sur l’élection présidentielle américaine de 2020. D’autres articles montrent que le chatbot s’en prend à Meta et à son PDG.
La campagne de mauvaise presse a conduit Meta à mettre à jour son billet de blog le 8 août, en assurant que les défauts de BlenderBot 3 font partie de sa stratégie.
« Bien qu’il soit douloureux de voir certaines de ces réponses offensives, des démonstrations publiques comme celle-ci sont importantes pour construire des systèmes d’IA conversationnelle vraiment robustes et pour combler le fossé évident qui existe aujourd’hui avant que de tels systèmes puissent être mis en production », écrit Joëlle Pineau, directrice générale de la recherche fondamentale en IA chez Meta.
Meta n’a pas répondu à la demande de commentaires de TechTarget, le propriétaire du MagIT.
Les dangers de l’entraînement d’IA sur des données publiques
La déclaration de Meta sur les démonstrations publiques est à la fois correcte et incorrecte, considère Will McKeon-White, analyste chez Forrester.
« Les gens sont particulièrement inventifs en matière d’utilisation des langages », constate-t-il. « Il est très difficile pour les robots de comprendre des choses comme les métaphores et les simulacres, et cela pourrait aider Meta en partie. Il faut en effet beaucoup de données pour entraîner un chatbot, et ce n’est pas facile ».
Cependant, « Meta aurait dû appliquer des conditions d’utilisation ou des filtres pour empêcher les gens d’utiliser le chatbot à mauvais escient », poursuit-il.
« Si vous savez ce qui se passe, alors vous auriez dû prendre des mesures supplémentaires pour l’éviter », affirme Will McKeon-White. « Les réseaux sociaux ne fournissent pas un bon jeu de données d’entraînement, et le fait de l’avoir rendu publiquement disponible ne permet pas non plus de bien l’entraîner ».
Le BlenderBot 3 de Meta n’est pas sans rappeler Tay, un agent conversationnel propulsé à l'IA et lancé par Microsoft en 2016. À l’instar de BlenderBot 3, Tay a également été cité pour son caractère misogyne, raciste et antisémite. La controverse entourant Tay a poussé Microsoft à le fermer quelques jours après la diffusion du système sur les réseaux sociaux.
Trouver d’autres données d’entraînement
Étant donné que les chatbots IA, comme BlenderBot 3 et Tay, sont souvent entraînés à partir d’informations et de données accessibles au public, « il ne faut pas s’étonner qu’ils débitent des informations toxiques », déclare Mike Bennett, directeur du programme d’enseignement et responsable de l’IA responsable à l’Institute for Experiential AI de la Northeastern University.
« Je ne sais tout simplement pas comment les grands groupes technologiques qui investissent dans ces chatbots vont, d’une manière économiquement rationnelle, former ces logiciels rapidement et efficacement pour qu’ils fassent autre chose que parler dans le mode des sources qui ont servi à les entraîner », souligne Mike Bennett.
Les petites entreprises et les commerces peuvent trouver d’autres données de formation, mais l’investissement dans le développement d’un ensemble de données sélectionnées pour entraîner les chatbots – et le temps nécessaire – serait coûteux.
Une solution moins onéreuse consisterait en la mise en commun de ressources par de plus petites entreprises pour créer un jeu de données permettant de former des chatbots. Toutefois, cela entraînerait des frictions puisque les organisations travailleraient avec des concurrents, et il faudrait du temps pour déterminer qui possède quoi, selon M. Bennett.
Faut-il se méfier du NLG ?
Une autre solution consiste à éviter de lancer prématurément des systèmes de ce type.
Les marques et les entreprises qui exploitent la génération automatique de langage naturel (NLG) doivent surveiller de près leur système. Elles doivent l’entretenir, comprendre ses tendances et modifier l’ensemble des données si nécessaire avant de le rendre public, explique l’analyste de Forrester.
Si les entreprises choisissent de tirer leurs données d’entraînement d’Internet, il existe de multiples façons de le faire de manière responsable, ajoute-t-il. Une politique de conditions d’utilisation peut empêcher les utilisateurs d’abuser de la technologie. Une autre solution consiste à mettre en place des filtres en arrière-plan ou à dresser une liste de mots interdits que le système ne doit pas générer.
En raison des performances de BlenderBot, la prudence sera vraisemblablement de mise en ce qui concerne les systèmes NLG, anticipe Will McKeon-White.
« Cela va probablement altérer l’expérimentation de ces systèmes pendant un certain temps », ajoute-t-il. « Cela durera jusqu’à ce que les fournisseurs puissent fournir des filtres ou des protections pour des systèmes comme ceux-ci ».
Les chercheurs de Meta veulent se faire nourrir par les trolls
De leur côté, les chercheurs de Meta sont parfaitement conscients de la toxicité potentielle du chabot. Si OPT-175 reconnaît mieux les biais racistes, misogynes ou nocifs dans les textes, il avait déjà tendance à générer davantage de contenus toxiques que ses équivalents. Les responsables du projet BlenderBot 3 ont mis en place tout un ensemble de mécanismes lors de l’entraînement et l’inférence du modèle, notamment un classificateur externe qui doit « inhiber les générations risquées ».
Une liste de mots clés a également été introduite pour éviter les dialogues délétères. Une vérification finale est effectuée au moment d’émettre une réponse si l’application a détecté une interaction « malveillante » de la part de l’usager. Malgré tout cela, BlenderBot3 « génère encore des contenus toxiques en petit pourcentage », reconnaissent les chercheurs de Meta.
Les remarques de Mike Bennett et de Will McKeon-White sont donc à la fois pertinentes et en partie erronées.
« Si nos mécanismes de sécurité ne parviennent pas à empêcher notre bot de dire quelque chose d’inapproprié, d’impoli ou d’offensant, notre interface utilisateur dispose de mécanismes de retour d’information pour que les utilisateurs puissent signaler ses messages », écrivent les chercheurs de Meta.
« Les données collectées seront communiquées à la communauté afin d’améliorer les systèmes existants et de rendre nos modèles plus responsables au fil du temps ».
Meta ne joue pas dans la même cour que les clients des solutions d’IA. Le groupe préfère explorer des possibilités avancées qu’il exploitera par la suite pour ses propres besoins ou à des fins commerciales.
En clair, si le projet BlenderBot 3 échoue, c’est pour mieux entraîner la prochaine version du chatbot. Les chercheurs de Meta évoquent une nouvelle architecture nommée DIRECTOR qu’ils envisagent d’implémenter ultérieurement.
DIRECTOR repose, elle aussi, sur un décodeur standard auquel les responsables du projet ont ajouté une tête de classification par mot généré.
Le modèle de deep learning qui en découle peut être « entraîné sur des données non labellisées (comme la plupart des modèles NLG N.D.L.R), et des données labellisées permettant d’indiquer si une séquence générée est souhaitable ou non ». DIRECTOR s’est déjà montré plus performant que d’autres techniques pour détecter et éviter la production de textes toxiques, incohérents ou répétitifs, selon les chercheurs de Meta.
