IA générative : Salesforce renforce sa « Trust Layer »

Une politique de red teaming pour éprouver Agentforce

Salesforce a déployé une pratique de « red teaming », et plus particulièrement de conduite d’attaques par exemple contradictoires.

L’équipe de Salesforce IA a d’abord constitué un lot de données synthétiques pour vérifier Agentforce.

« Nous avons effectué cette opération avant le lancement d’Agentforce avec plus de 8 000 variantes différentes d’entrées hors limites afin de nous assurer de sa robustesse. Notre système n’a donné aucune réponse inappropriée », affirme Rob Katz.

Dans une deuxième phase, ils ont fait appel des attaquants « humains », plus particulièrement des employés de Salesforce, puis des contractuels.  

« Nous avons sollicité la participation d’employés de différents pays et différentes entités qui étaient vraiment enthousiastes à l’idée de voir s’ils pouvaient briser le système », confirme Rob Katz. « Nous avons également essayé d’obtenir un point de vue extérieur, des campagnes de bug bounty et d’autres programmes similaires consacrés à l’IA et à l’agentique ».

En conséquence, Salesforce dit avoir revu les garde-fous et différentes fonctionnalités d’endiguement des hallucinations. Ceux-là auraient permis de réduire les résultats nocifs issus des attaques par exemple contradictoires de 90 %.

Quant aux injections de promptes et autres attaques, elles seront recensées dans la piste d’audit et le tableau de bord spécifique à Agentforce.

L’un des enjeux majeurs de la vente et du marketing selon Rob Katz est celui des biais. Derrière une adresse postale peuvent se cacher des biais démographiques, plus particulièrement des biais raciaux et financiers.

« Nous essayons de faire en sorte qu’un être humain doté de discernement et comprenant les politiques de son entreprise prenne la décision finale concernant les groupes qui reçoivent tel ou tel message », avance le responsable. « Le modèle ne doit pas non plus introduire des biais non désirés, inattendus ou non perçus dans les résultats générés ».  

Détecter la toxicité, un exercice difficile, selon Salesforce

Pour cela, Salesforce dit s’évertuer à détecter les biais de toxicité. Par exemple, un agent ne doit pas répéter une potentielle insulte glissée par l’utilisateur dans sa demande.

Pour rappel, quand l’éditeur avait présenté Einstein Copilot Studio, l’interface de création des bots incluait une fonction de détection de la toxicité. Celle-ci n’apparaît plus dans l’interface d’Agentforce Studio présentée lors de Dreamforce 2024.

« Son retour est prévu sur la feuille de route », indique Rob Katz au MagIT. « Mon équipe travaille sur les définitions de la toxicité. Il s’agit d’un problème très difficile. Ce qui est toxique pour moi ne l’est peut-être pas pour vous », illustre-t-il ? « Mon équipe compte un spécialiste de la sécurité des contenus, un linguiste et un data scientist de formation. Ensemble, ils tentent de créer une taxonomie de la sécurité des contenus en collaboration avec Salesforce AI ».

Ce score de toxicité pourrait être adapté suivant les régions ou les pays dans lesquels opère Salesforce.

L’éditeur entend également poser des limites aux nombres d’interactions entre les humains et les agents dans une fenêtre de temps « T ». « Nous ne voulons pas créer des bots générateurs de spams », insiste Rob Katz.

Si l’envoi de mails en gros volume assure en toute logique un meilleur taux d’ouverture, « ce n’est probablement pas la meilleure stratégie à long terme », note-t-il.

Cela permettrait aussi de mieux contrôler les sorties, car les humains ne peuvent pas aisément superviser des milliers de contenus en sus de mieux gérer les coûts.

Quoi qu’il en soit, Salesforce entend suggérer des actions et des prompts préconfigurés, dont les comportements ont déjà été testés par les équipes du géant du CRM.

Dans d’autres cas, quand le modèle ne sait pas, le système devra pouvoir suggérer des mises à jour de la base de données de connaissances ou passer la main à un humain. « Nous avons observé qu’un agent de type chatbot peut résoudre certains cas comme l’annulation d’un vol aussi, voire plus rapidement qu’un humain, mais quand un cas est plus complexe ou qu’il demande de l’empathie et du jugement, il pourra être transféré à un humain ».

C’est d’autant plus important, car, selon Salesforce, le renommage d’Einstein Copilot pour Agentforce signifie que les assistants ne seront plus seulement internes, mais également ouverts à l’externe.

« Par exemple, dans le cas du service client, les clients veulent également que le contenu généré par l’IA soit clairement identifié », illustre Rob Katz. « C’est pourquoi nous avons des avertissements et des divulgations standard dans tous les produits ».

En outre, les usagers doivent pouvoir se désinscrire du service. De fait, si les données des conversations ne peuvent pas être utilisées pour entraîner les modèles, elles peuvent l’être pour vérifier ou améliorer le fonctionnement du système.

Or, dans plusieurs pays, la possibilité de se désinscrire est un droit protégé légalement. « Nous avons donc un ensemble standard de modèles de désinscription, et nous avons effectué des tests pour nous assurer que le processus est bien suivi dans toute la plateforme, comme cela se ferait sur Salesforce », informe Rob Katz.

Cette fonctionnalité n’est toutefois pas encore disponible. Les premières solutions libellées Agentforce entrent en disponibilité générale au cours du mois d’octobre.

Des « frictions intentionnelles » pour superviser l’usage de l’IA

Les fonctionnalités et des brides de l’IA générative sont présentées comme des frictions intentionnelles ou conscientes (mindful frictions en VO).

Cette théorie émerge de l’UX design et de la conception de jeu vidéo. Elle vise à mettre en place un ensemble de mettre en place de mesures et de mécanismes pour faire comprendre à l’usager ce qu’il peut et ne peut pas faire. Dans le cas présent, il s’agit de contraintes et d’orientations afin d’aider les usagers à utiliser l’IA de manière responsable. Les entreprises devront par ailleurs respecter la politique d’utilisation acceptable de l’IA imposée par l’éditeur.

Une politique qui décourage l’exploitation de l’IA générative dans les usages à haut risque, présentés comme mortel ou dangereux pour la santé des humains.

« Salesforce ne construit pas de modèles ou de systèmes qui entreraient dans la catégorie à haut risque telle que la prédiction de la récidive criminelle ou de la génération de scores de crédit », prévient Rob Katz. « Ce n’est pas notre métier. En revanche, nous faisons des choses moins risquées, comme la création de campagnes de marketing personnalisées ».

Dès lors, les représentants de l’éditeur disent percevoir d’un bon œil l’AI Act européen. Salesforce aurait d’ailleurs participé aux échanges préliminaires à sa mise en place.

Enfin, le géant du CRM s’est volontairement engagé à respecter les principes édités par la Maison-Blanche concernant la « garantie d’une IA sûre, sécurisée et digne de confiance ».

Reste à voir si l’ensemble de ces mesures sont efficaces une fois les outils massivement déployés chez les clients.