Kendra : AWS veut simplifier la recherche d’entreprise grâce au NLP
Présenté en décembre dernier, AWS Kendra est en disponibilité générale. Ce service de recherche d’entreprise dans le cloud doit simplifier l’accès aux données dans les silos des entreprises.
Les solutions de recherche ne manquent pas. Elles sont souvent embarquées au sein d’outils métiers. Ce qui semblait jusqu’alors un acquis est remis en question par la nécessité d’accéder à des données présentes dans différents silos. Malheureusement, le moteur de recherche embarqué dans une boîte mail ne peut pas aller explorer des fichiers dans un système de stockage ou un CRM.
Certains éditeurs se penchent sur des solutions pour contourner ou traverser ces silos. Elastic a lancé il y a peu Workplace Search. Sinequa propose un moteur de cognitive search utilisé par la NASA. AWS, lui a annoncé au mois de mai dernier la disponibilité générale d’Amazon Kendra. Présenté lors du AWS Summit en décembre 2019, l’outil doit répondre à cette difficulté en s’appuyant sur des techniques de machine learning, notamment le NLP.
« La raison d’être de Kendra, c’est d’une part la capacité à extraire de l’information dispersée dans différents back-end d’une entreprise ; des bases de données, des systèmes de stockage fichier, des applications, etc. D’autre part, il s’agit de proposer un moyen aux utilisateurs de poser des questions en langage naturel et de fournir des réponses les plus pertinentes possibles », explique Julien Simon, évangéliste technique, IA et machine learning chez AWS.
Ce service cloud repose sur la création d’un index, depuis la console AWS CLI ou un SDK. Il est recommandé de configurer les services IAM et KMS fournis par le géant du cloud pour protéger les accès et les données. C’est le moment de connecter des sources de données, puis de les synchroniser avec l’index précédemment créé. Un onglet de l’outil permet de définir un planning de rafraîchissement des informations source par source. Des API dédiées servent à déployer la barre de recherche et la fenêtre de résultats dans des applications React. Ces composants sont disponibles depuis la console du service.
« AWS veut éviter à tout prix que ses clients perdent du temps avec ‘la plomberie’ : de l’infrastructure, du réseau, etc. », assure Julien Simon. « En une journée, on peut se faire un avis sur Kendra », vante-t-il.
Il est également possible d’ingérer directement des documents depuis l’index ou par appel d’API. Cette technique permet aussi d’exclure certains documents en provenance de certaines sources. Le service supporte les formats de fichiers suivant : texte, HTML, PDF, PowerPoint et .doc de Microsoft Word.
Des modèles NLP personnalisés pour différentes industries
Pour simplifier la recherche, AWS mise sur le traitement du langage naturel. Kendra identifie la structure d’une question pour répondre à l’utilisateur. « Kendra utilise un certain nombre de modèles pour extraire des relations et des entités dans la requête elle-même, puis dans l’index pour proposer la réponse la plus pertinente », indique Julien Simon.
Le service est conçu pour mettre en avant une réponse suggérée. AWS veut que celle-ci soit la plus précise possible pour diminuer le temps de recherche. Il affiche des réponses à des questions factuelles (« quelles sont les dimensions de la pièce f ? »), descriptives (« dans quel document puis-je retrouver le numéro SIRET de la société ? ») et s’appuie sur des mots clés quand le sens d’une requête lui échappe. Kendra souligne ainsi la réponse et lie le ou les documents associés.
Pour cela, AWS a constitué et entraîné des modèles algorithmiques appelés champs d’expertise. Kendra couvre seize domaines différents dont l’automobile, la santé, la chimie, les ressources humaines, le droit, l’actualité, les télécoms ou encore la finance. « Ces modèles ont été entraînés par AWS sur des jeux de données publiques et privés. Chacun de ces modèles comprend un vocabulaire particulier et des relations entre entités particulières », précise l’évangéliste. AWS ne s’interdit pas de nouveaux champs d’expertise à la demande des clients. Pour l’instant, les entreprises ne peuvent pas importer leurs propres modèles.
Évidemment, l’éditeur ne veut pas révéler sa recette secrète. Julien Simon n’explique pas dans le détail comment sont constitués ces modèles ML. Il assure cependant que les ingénieurs recrutés par le géant du cloud ont acquis un haut niveau d’expertise dans le NLP en travaillant à la conception de divers services de text-to speech et speech to text (Transcribe), de traduction (Translate) et de traitement du langage naturel (Comprehend).
Les connecteurs, le nerf de la guerre
Service AWS oblige, Kendra supporte en premier lieu des sources de données provenant de buckets S3 et de RDS, une des bases de données du géant du cloud. Mais le nerf de la guerre, c’est la connexion aux applications tierces. Au lancement, AWS Kendra propose des connecteurs vers OneDrive, SharePoint Online, Salesforce et ServiceNow ; des produits uniquement disponibles dans le cloud.
En clair, AWS ne propose pas encore la source de vérité unique recherchée par de nombreuses entreprises. Par exemple, les données sur site ne sont pas directement accessibles depuis le service. De même, la seule langue supportée est « l’anglais américain ».
« Nous avons commencé par proposer les connecteurs les plus réclamés par les clients. Nous allons continuer à en ajouter. Pour les accès à des informations sur site, en principe, il est possible d’utiliser des services d’extraction pour répliquer certaines sources de données au sein de services AWS à un coût minime. Si suffisamment de clients réclament un accès à des données sur site via une architecture hybride, nous répondrons sûrement à leur demande », indique Julien Simon.
Dans l’édition développeur, AWS propose 750 heures d’utilisation gratuite limitée à trente jours d’essai. À des fins de test, il est possible de créer 5 index rattachés à cinq sources de données chacun. Dans cette configuration, Kendra peut traiter 10 000 documents ou 3 Go de textes. Les requêtes sont limitées (4000 par jour) et le service dépend d’une seule zone de disponibilité.
L’édition entreprise prend en charge cinq index qui peuvent se connecter jusqu’à 50 sources de données chacun. La recherche est cette fois-ci limitée à 500 000 documents ou 150 Go. Il est possible d’effectuer jusqu’à 40 000 requêtes par jour et AWS fournit trois zones de disponibilité (USA Est - Virginie, USA Ouest - Oregon et Europe - Irlande). L’édition entreprise coûte sept dollars de l’heure, soit 5040 dollars par mois pour 720 heures. Ces tarifs sont négociables si le client s’engage sur un « volume minimal ».
PWC, Sage, et 3M sont quelques uns premiers clients à utiliser AWS Kendra. PWC le propose à sa clientèle pour chercher des informations sur la réglementation et la conformité. Les ingénieurs du spécialiste de l’industrie 3M s’en servent pour trouver des informations sur certains matériaux étudiés par le passé.