IA agentique : des éditeurs en quête de maturité, selon AI Builders
L’IA agentique à la sauce Forrester envahit les feuilles de route des éditeurs. Tous entendent proposer des versions augmentées de leurs assistants d’IA. Si le concept d’agent devient un standard, les solutions sont majoritairement peu matures, selon AI Builders.
Puisque les grands modèles de langage sont désormais capables d’expliquer un raisonnement – et donc de détailler un enchaînement d’étapes logiques –, ils peuvent, en principe, planifier des tâches et gérer tout ou partie d’un processus. Pour cela, les fournisseurs de LLM les dotent de ce qu’ils appellent des « appels de fonction » (function calling). En clair, les modèles peuvent prendre des actions après les avoir connectés à des outils tiers. Certains éditeurs, dont Salesforce et ServiceNow, cherchent à entraîner des modèles non pas à partir d’un corpus de documents, mais de descriptions de cheminement de pensées (technique nommée Chain of Thought), d’actions, ainsi que d’étapes à suivre lors d’appels de fonction.
Qu’est-ce qu’un Large Action Model ? Le moteur d’un agent autonome
Ces modèles d’un nouveau genre apparus en 2022 sont appelés « Large Action Models » ou LAM. Pour l’heure, il s’agit plutôt de variantes fine-tunés de LLM ou de grands modèles de langage à qui l’on a consacré une partie de l’entraînement (notamment à l’aide de techniques d’apprentissage par renforcement) à la réalisation de ces tâches. Voilà les fondations de ce que les éditeurs nomment « agents autonomes ».
« Un agent, c’est la combinaison d’un LLM orchestrateur, capable de décomposer les tâches et de les attribuer, avec un fragment de code dédié », décrit Stéphane Roder, CEO d’AI Builders. « Ce bout de code prend en charge chaque sous-tâche, comprend le fonctionnement de l’outil, interagit avec lui, récupère le résultat produit et le transmet à l’orchestrateur ». Ce serait l’évolution de la RPA. Contrairement à un bot RPA qu’il faut programmer manuellement ou transmettre l’enregistrement d’une série de tâches, un agent « va trouver de lui-même les actions à réaliser ».
La prolifération de ces agents laisse entrevoir le passage de l’analytique prescriptive, que les LLM promettaient d’améliorer – à l’actionnabilité planifiée. « C’est une tendance qu’avait prévue Gartner en 2014 », note Stéphane Roder.
Les premiers cas d’usage de ces agents plus ou moins autonomes sont les « assistants applicatifs ». AI Builders en distingue deux : les assistants applicatifs intégrés dans les suites bureautiques et ceux infusés dans les suites métiers. « Nous observons une tendance de fond chez tous les éditeurs de logiciels qui proposent ou vont proposer ces assistants applicatifs intégrant au moins un agent », commente le CEO d’AI Builders.
Salesforce Agentforce et Microsoft Copilot sortent du lot
L'AI Decision Matrix d'AI Builders tente d'éclaircir le paysage des assistants d'IA intégrés dans les suites bureautiques et d'outils métiers (CRM, ERP, ITSM, etc.)
Pour aider les entreprises à y voir plus clair dans cette jungle à la croissance fulgurante, le cabinet de conseils a concocté son AI Decision Matrix.
À la manière du carré magique de Gartner, AI Builders a défini quatre catégories : AI Next Gen, AI Best-In-Class, AI Rising Star et AI Safe Bet. La position de la solution sur l’ordonnée matérialise sa performance et sur l’abscisse sa maturité.
La performance est évaluée suivant la qualité des réponses obtenues, la personnalisation possible de l’assistant, la sécurité et la gestion des données, le nombre de fonctionnalités et la complexité des tâches réalisées. La maturité est notée suivant quatre critères à savoir le niveau d’implémentation de la solution source sur le marché, l’étendue des intégrations internes et externes, la facilité de déploiement et d’utilisation, ainsi que la mise à l’échelle.
Les solutions estampillées Next Gen et Rising Star sont à gauche du tableau. Les « étoiles montantes » sont en cours de développement – donc peu performantes et peu fiables – mais promises à gagner du terrain sur le marché. Les solutions Next Gen sont jugées performantes, mais peu matures. La catégorie Safe Bet, comme le nom l’indique, rassemble des assistants performants, aux usages multiples et plus fiables que la moyenne. Les solutions « Best-in-Class » sont censées être les meilleurs du marché et se distinguent par leur capacité d’intégration avec le SI existant des entreprises. Les assistants applicatifs bureautiques sont signalés par un point orange, tandis que ceux consacrés aux outils métiers sont en rouge.
« Toute catégorie d’assistant confondu, nous considérons Agentforce comme la solution la plus performante à ce jour », déclare Dimitri Calmand, analyste Data/IA chez AI Builders Research. « Ce qui fait la différence selon nous, c’est la capacité Agent Builder qui permet de créer ses propres agents avec des actions existantes ou supplémentaires via MuleSoft, entre autres, ce qui implique un gain de temps considérable ».
« Toute catégorie d’assistant confondu, nous considérons Agentforce comme la solution la plus performante à ce jour ».
Dimitri CalmandAnalyste Data/IA, AI Builders Research
Étrangement, GitHub Copilot, pourtant l’un des outils d’IA générative les plus populaires chez les développeurs est catégorisé en « Next Gen », avec Joule de SAP. « Autant GitHub Copilot est efficace pour générer du code et des tests, autant son intégration dans l’environnement de programmation et sa capacité à assister certaines tâches propres à des catégories de développeurs ne sont pas très évoluées », justifie Stéphane Roder.
Quant à Joule de SAP, « les fonctionnalités les plus avancées sont prévues en 2025 ». En revanche, le fait que l’éditeur allemand développe lui aussi des assistants agentiques serait révélateur, selon le CEO d’AI Builders. « Si un acteur comme SAP se met à proposer des agents, c’est que nous sommes en train de voir un standard s’installer ».
Si un acteur comme SAP se met à proposer des agents, c’est que nous sommes en train de voir un standard s’installer ».
Stéphane RoderCEO, AI Builders
Il faut aussi préciser que certains critères d’évaluation ont été surpondérés par le cabinet. Ainsi, la qualité des réponses obtenues, la complexité des tâches réalisées et l’étendue des intégrations sont mises en avant dans ce benchmark. « Ce sont les critères qui auront le plus fort impact sur le ROI de notre client », explique Pauline de Lavallade, directrice d’AI Builders Research. A contrario, la sécurisation des solutions est plus complexe à juger puisqu’elle dépend souvent d’un modèle de responsabilité partagée. D’autant qu’il reste de nombreuses inconnues sur la manière de sécuriser les interactions des agents avec les outils tiers.
Tarifications : là encore, beaucoup d’expérimentations
La matrice de décision ne semble pas prendre en compte la tarification des solutions. « Les tarifs des assistants varient selon les options et niveaux de personnalisation », répond Dimitri Calmand. « Plusieurs outils, dont Gemini et Notion proposent des essais gratuits, puis la tarification passe à environ 20 euros par mois par utilisateur. Or, les options entreprises plus personnalisées augmentent significativement le coût. Par exemple, Copilot pour Microsoft 365 est proposé à 30 euros par mois par utilisateur, tandis que Copilot Studio est facturé 200 dollars pour 25 000 messages par mois », illustre-t-il.
Outre différentes tarifications suivant les modules choisis, Salesforce propose aux clients existants de Sales, Services, Marketing et Commerce Cloud 1 000 conversations gratuites et 250 000 crédits de donnés gratuit pour Data Cloud. Au-delà, le géant du CRM entend facturer deux dollars chaque conversation. Le géant du CRM propose également un autre modèle tarifaire personnalisé.
Pour Agentforce Service Agent, il fournit un simulateur de ROI prenant en compte le coût des employés du service client, le nombre de conversations qu’ils gèrent par jour et le volume de tickets support à transférer vers Agentforce. Cet outil fourni à des fins illustratives ne prend pas en compte les coûts d’implémentation, mais prendre en compte le client réduira une partie de sa masse salariale.
« Il y a aussi les prémices d’une économie des agents verticalisés qui est en train de se mettre en place. Certains agents vont être développés par des partenaires ou des entreprises avant d’être commercialisés comme sur un App Store », ajoute Stéphane Roder.
Un paysage changeant
La matrice d’AI Builders qui vient d’être diffusée sera mise à jour dans six mois. « C’est un marché qui bouge très rapidement. Les solutions vont continuer d’évoluer tous les mois, de nouveaux acteurs vont émerger et des outils existants vont être renommé. Typiquement, chez Salesforce, Einstein GPT est devenu Agentforce », rappelle Pauline de Lavallade.
« Imaginez, un projet d’IA voit le jour et une semaine plus tard, l’on vient me consulter pour obtenir un avis », s’exclame Stéphane Roder.
En tout cas, les acteurs cités se mènent une compétition féroce. « Il y a la peur d’une désintermédiation. Prenez l’exemple de Microsoft qui souhaite connecter ses Copilot à tout, dont Salesforce et SAP, et Salesforce qui s’oppose à cette volonté en proposant ses propres agents », évoque le CEO d’AI Builder. Lors de la conférence annuelle Dreamforce, Marc Benioff s’est montré véhément envers Microsoft.
Outre les LLM ou LAM « génériques », le cabinet de conseils entrevoit l’émergence d’assistant universel, incarné par des fonctions comme « Computer Use » et surveille de près la vision de « l’automatisation agentique » imaginée par UiPath. « Le concept d’agents est en train de s’étendre dans beaucoup de modalités, mais nous n’avons pas encore étudié cette partie-là », concède Stéphane Roder. « Nos clients sont moins intéressés par ces solutions qui s’interfacent aux systèmes et elles sont encore techniquement peu efficaces. Nous sommes tout au début de cette capacité à décomposer le raisonnement ».
Pour approfondir sur IA appliquée, GenAI, IA infusée
