IA générative : ServiceNow présente sa feuille de route pour 2024 (et au-delà)

La gamme Now Assist grandit

L’éditeur a présenté un moyen pour les agents des centres de contact qui utilisent son module CSM de résumer des transcripts d’appels. Les modules Now Assist ITSM, HRSD et CSM peuvent également générer des brouillons de résumés des incidents, des cas, des notes de travail.

Now Assist pour ITOM AIOps, lui, doit simplifier le groupage des alertes quand plusieurs dysfonctionnements d’un système IT sont liés.

Pour les administrateurs de ServiceNow ITSM, l’éditeur a lancé un outil de gestion des prompts leur permettant d’étendre des instructions sur étagère avec des informations relatives à leurs entreprises.

Now Assist for Creator vise plus particulièrement les développeurs ou les citizen developers chargés de mettre en place les processus. Avec cet assistant, ils peuvent générer des éléments de catalogue (catalog item), c’est-à-dire de produire une description courte et un jeu de question-réponse sur ledit élément, par exemple un ordinateur.

L’outil génère également des playbooks à partir d’une commande en langage naturel. Ce sont des scripts sous forme de code, ou une représentation visuelle d’un processus de bout en bout, permettant d’automatiser tout ou partie d’un flux dans la plateforme Now.

Enfin, l’éditeur fournit un outil de génération d’applications. Il est capable de comprendre une instruction et de demander des précisions sur la manière dont les tables, les utilisateurs, les formulaires et les éléments de catalogue doivent être conçus. L’éditeur prévoit aussi d’intégrer un modèle permettant de prendre la photo d’un schéma et de le transformer en un playbook.

Un calendrier d’annonces jusqu’à la fin 2024

Dans la feuille de route, Service Now prévoit un ensemble d’ajouts qui devraient arriver d’ici la fin de l’année 2024.

Au deuxième semestre, l’éditeur prévoit d’adopter Now Assist pour la gestion de la sécurité, des contrats, des achats et des fournisseurs.

En août 2024, ServiceNow introduira un moyen de générer des analyses et des visuels à partir de données contenues dans sa CMDB. En novembre, Now Assist pourra, dans certains cas, être activé à la voix.

Pour cela, ServiceNow s’appuie en partie sur Nvidia Avatar Cloud Engine, une suite d’API encore en préversion permettant de combiner des avatars en trois dimensions (Audio2face et Tokkio), des algorithmes de « speech to text » et de « text to speech » (Riva).

Dans la même idée de personnaliser l’expérience utilisateur des métiers, ServiceNow a présenté MyAsssist, une variante de Now Assist personnalisé par collaborateur. Si la démonstration donnait surtout un aperçu visuel de ce que pourrait être cet agent personnalisé, l’éditeur a mis sur sa feuille de route l’optimisation des échanges multitour (plusieurs échanges à la suite) avec les grands modèles de langage sous-jacents en août, et des conversations multitour par collaborateur en novembre 2024.

Pour les « experts et les agents », l’éditeur introduira en août des réponses recommandées et des mécanismes de navigation et de recherche.

Sous le capot, ServiceNow compte sur son Knowledge Graph, bâti par-dessus une base de données orientée graphes. Il a combiné les technologies d’Attivio et d’ElementAI, deux spécialistes de la recherche cognitive et du NLP, acquis respectivement en 2019 et en 2020. Ce graphe de connaissances est combiné à une couche d’orchestration de plusieurs LLMs et une architecture RAG.

« Nous avions déjà des capacités sémantiques dans notre moteur de recherche et nous disposions déjà d’une équipe de recherche en IA qui était déjà à l’avant-garde des modèles GPT », vante Nicolas Chapados, vice-président de la recherche chez ServiceNow Research, qui fait référence au projet BigCode auquel les chercheurs de ServiceNow ont participé avec HuggingFace avant l’apparition de ChatGPT.

Les quatre tendances à suivre selon ServiceNow

Quid de l’après 2024 ? « Nous ne disons pas que ce que nous allons vous présenter est notre feuille de route pour l’année 2025, car la genIA évolue très rapidement. En revanche, nous tentons d’évaluer les tendances et de travailler sur certaines d’entre elles », prévient Jon Sigler, Senior Vice President, Plateforme et IA chez ServiceNow.

Ces tendances, Dorit Levy-Zilbershot, VP of Product Management et R&D, chez ServiceNow, en distingue quatre :

• l’émergence d’assistants IA autonomes,
• la conception d’un jumeau artificiel d’un collaborateur,
• la mise au point d’agents capable de simuler l’usage de systèmes ServiceNow,
• et le déploiement local de « petits » modèles de langage.

Plus particulièrement, l’éditeur entend mettre au point des systèmes capables, suivant la demande d’un utilisateur, de proposer plusieurs actions réalisables.

Il s’agit, en sus du graphe de connaissances, de donner aux LLMs l’accès à des outils ou à des actifs – par exemple des processus prédéfinis dans ServiceNow qu’ils proposent à l’utilisateur d’actionner suivant sa demande. Pour cela, l’éditeur a également besoin de s’appuyer sur les capacités de cheminement de pensées (Chain of though), une méthode de rédaction d’instructions et d’entraînement permettant d’augmenter les chances qu’un modèle suive des indications.

« Je pense qu’il faut un peu plus de temps pour s’assurer que la technique Chain of Though réponde aux exigences des entreprises. »

ServiceNow a présenté deux démonstrations : d’un côté, la prise en charge des demandes d’un collaborateur depuis un chatbot pour décrire son problème IT, désigner l’appareil associé et la manière de contacter le support. De l’autre, ServiceNow imagine que le personnel d’assistance est aidé par un LLM pour automatiser le déploiement de correctifs ou la production de flux automatisés, afin de résoudre le problème plus rapidement à l’avenir.

Dans la même idée, quand l’agent de support n’est pas disponible, un chatbot avec un avatar pourrait répondre aux questions des collaborateurs ou des clients – à la manière de l’agent humain – et utiliser les flux automatisés à sa disposition. Ce serait alors un « jumeau » de l’employé.

Un agent LLM pourrait également avoir accès aux Web pour qu’il remplisse des formulaires ou corrige des données dans des documents administratifs. Lors de sa conférence, l’éditeur a consacré une démonstration de l’automatisation de demandes de remboursement de frais par des employés qui doivent comprendre et remplir correctement des cases dans les outils de gestion de dépenses.

Enfin, des agents capables de simuler des déploiements de projets ServiceNow sont à l’étude. « Imaginez que vous puissiez tester une capacité de ServiceNow dans un environnement de programmation virtuel où vous pouvez réellement comprendre quelle est la valeur avant même de commencer votre parcours de déploiement », avance Nicolas Chapados.

Ces simulations permettraient, par exemple, de générer des centaines de milliers de conversations entre des employés et le support interne, ou d’agents avec des clients – en clair des données synthétiques – afin d’estimer le taux de déflexion d’un processus, existant ou futur, suivant le nombre d’utilisateurs de la plateforme Now. « Nous pouvons identifier quels sont les éléments de catalogue et les articles de la base de connaissances utilisés. Mieux, nous pouvons suggérer ces items ainsi que des processus manquants », lance Nicolas Chapados.

Pourquoi l’éditeur ne veut-il pas s’avancer sur une date de sortie pour ces fonctionnalités ? « Je pense qu’il faut un peu plus de temps pour s’assurer que la technique Chain of Though réponde aux exigences des entreprises », justifie Dorit Levy-Zilbershot auprès du MagIT. « Je dirais qu’il faut encore environ six mois avant que nous puissions dire que c’est prêt. En matière de performances et de fiabilité, ce n’est pas encore tout à fait au point ».

Concernant la connexion des agents autonomes au Web, l’équipe de ServiceNow Research a établi un benchmark de complétion d’une petite trentaine de tâches liées à la plateforme Now par des LLM connectés au Web, nommé WorkArena. Dans un article publié le 12 mars 2024, l’équipe de recherche précise que le taux de succès du LLM le mieux doté actuellement, GPT-4, n’est que de 55 %, alors que l’on attend que ces modèles atteignent des scores d’au moins 70 % sur des benchmarks génériques. Pour que les LLM parviennent à passer cet examen, il faut qu’il soit multimodal, doté d’une longue fenêtre de contexte et « de capacités de raisonnement avancées », estiment les chercheurs. C’est un « défi irrésolu ».

Le dernier volet, lui, semble plus tangible. Sur scène, Nicolas Chapados a fait la démonstration d’un LLM qui s’éxécute sur un ordinateur portable. Celui-ci était déconnecté d’Internet et chargé de préparer la réservation d’un vol pour un collaborateur. L’idée est d’envoyer l’ordre au moment de la reconnexion de la machine au réseau.

« Je pense que cela est sur le point de devenir une réalité. Nous aurons plus de modèles sur nos téléphones et sur nos ordinateurs portables. Ce sera plus rapide, plus sûr, plus privé », anticipe Dorit Levy-Zilbershot. Encore faut-il résoudre la question de la gouvernance de ses modèles et de leur déploiement en lien avec l’entreprise.

Au vu de son passif dans l’ITSM et dans l’ITOM, ServiceNow croit qu’il a une carte à jouer.

Les LLM propriétaires développés et orchestrés par ServiceNow peuvent déjà être déployés sur site, en sus d’AWS et d’Azure, selon l’éditeur. « Nous prévoyons de les rendre disponibles sur les instances Govcloud des fournisseurs plus tard cette année », précise la responsable.

L’éditeur veut également les rendre disponibles depuis IBM Watsonx et Nvidia NIM.

Et il est aussi possible d’appeler des modèles OpenAI, de Microsoft et de Google Cloud (Gemini) pour propulser la plupart des fonctionnalités de Now Assist ou compléter des processus.