IA générative : Oracle lance (lui aussi) des agents précâblés

OCI GenAI Agents : du RAG « clés en main »

Cette offre inclut un pipeline d’ingestion de données non structurées et permet de stocker les vecteurs, les indexer et les retrouver. De plus, Oracle GenAI Agents inclut un historique des conversations pour les chatbots.

« Oracle doit rendre le RAG aussi facile que possible pour les entreprises afin qu’elles continuent à utiliser leurs bases de données. »

« Oracle doit rendre le RAG aussi facile que possible pour les entreprises afin qu’elles continuent à utiliser leurs bases de données », avance Holger Mueller, analyste chez Constellation Research, auprès de l’équipe éditoriale de TechTarget [propriétaire du MagIT]. « Si c’était difficile, les entreprises pourraient sortir les données, ce qu’aucun éditeur ne souhaite ».

« Nous essayons de fournir des solutions clés en main qui couvrent l’ensemble des étapes d’un système RAG : chunking, vectorisation, reranking, etc. », confirme Greg Pavlik. « Si vous devez faire des adaptations, nous ouvrons cette voie pour que vous ne vous appuyiez pas seulement sur la base de connaissances, mais nous voulons un amorçage facile ».

Les entreprises ont également le choix d’utiliser OpenSearch et son mécanisme de recherche hybride s’appuyant sur les algorithmes BM25 (mots clés) et HSNW (Hierarchical Navigable Small World, pour la recherche vectorielle). D’ailleurs, c’était la seule base de données accessible au lancement de OCI GenAI Agents.

Peu importe le SGBD choisi, Oracle s’appuie en priorité sur les grands modèles de langage de deux fournisseurs : Cohere et Meta.

« Nous aimons ces deux raisons pour des raisons différentes », commente Greg Pavlik. « Meta est très ouvert et nous aide à exploiter leurs LLM pour des cas d’usage n’impliquant pas les réseaux sociaux », ajoute-t-il.

« Nos garde-fous examinent également les résultats générés et valident si les données sont réellement ancrées dans le système source. »

« Cohere a, depuis ses débuts, ciblé les entreprises, en essayant d’entraîner des modèles très efficaces, très équilibrés en matière de capacités linguistiques, de contrôles de l’information et d’interaction avec des données d’entreprises. Le tout à un prix compétitif », poursuit-il.

Les API d’OCI Generative AI permettent d’accéder à Llama 3.1 70B, Llama 3.1 405B, Cohere Command R, R+ et les modèles d’embedding associés.

Pour propulser OCI GenAI Agents, Oracle utilise au moins cinq LLM de concert, selon Greg Pavlik. « Nous procédons à la modération et au filtrage du contenu », ajoute-t-il. « Nos garde-fous examinent également les résultats générés et valident si les données sont réellement ancrées dans le système source ».

Un « ingrédient secret »

Pour propulser les 50 agents dans les applications Oracle Fusion, le fournisseur a parfois lui-même fine-tuné les modèles ou demander à ses partenaires d’ajuster leurs LLM.

« Ils [les ingénieurs d’Oracle] entraînent ou exploitent des LLM ou SLM [petits modèles de langage] spécifiques à l’industrie ou au domaine… privés, sécurisés et fonctionnant dans un environnement clos [privé] », déclare Sid Nag, analyste chez Gartner.

« L’ingrédient secret d’Oracle, pourrait-on dire, est son portefeuille de produits applicatifs », affirme de son côté Greg Pavlik. « C’est l’un des plus importants au monde. Nous avons des systèmes majeurs pour les entreprises avec les Fusion Apps. Nous avons un grand nombre de cas d’usage sur le segment des PME/ETI avec NetSuite », continue-t-il. « Nous avons environ 22 secteurs/verticaux différents pour lesquels nous avons des applications spécialisées. Toutes ces applications s’appuient sur nos capacités d’IA générative, et elles forcent constamment l’évolution des modèles ».

« Nous avons environ 22 secteurs/verticaux différents pour lesquels nous avons des applications spécialisées. Toutes ces applications s’appuient sur nos capacités d’IA générative, et elles forcent constamment l’évolution des modèles ».

C’est en tout cas une recette interne. À l’instar de Pegasystems, Oracle fait le choix de limiter l’exposition à ses clients de l’architecture technique. « L’utilisateur final ne s’en préoccupe pas », considère le responsable Data/AI chez Oracle. « Nous faisons tout notre possible pour que la mise en œuvre soit un détail ».

Les porte-parole d’Oracle ont toutefois assuré à plusieurs reprises que le fournisseur ne collecte pas les données des clients pour entraîner ses LLM.

Pour les clients souhaitant aller plus loin et potentiellement créer des agents qui ne sont pas uniquement connectés à une base de connaissances, il faudra mettre en musique divers produits cloud. Il y a par exemple le service de traduction et « d’analyse textuelle » (de détection d’entités nommées) OCI Language, compatible avec une centaine de langues, qui est notamment doté d’un système d’identification des données de santé « protégées ». Il y a d’abord OCI Document Understanding ; celui-ci sert à extraire de documents dans différents formats des données utiles pour enrichir une base de connaissances ou faciliter leur traitement par les LLM sous-jacents. OCI Vision comprend, lui, un ensemble d’outils de computer vision pour différents cas d’usage, de la labélisation de vidéo à la détection d’anomalies depuis le flux d’une caméra installée dans une usine. Enfin, OCI Data Science doit permettre d’entraîner ou de fine-tuner des modèles d’IA, dont ceux en provenance d’Hugging Face, sur des instances Nvidia ou Ampere One.

Oracle a prévu le coup : tout service disposant d’une API est considéré comme un « outil externe » que l’agent pourrait – si on l’y autorise – manipuler.

Ce n’est pas la prérogative de la majorité des clients.

« Les deux obstacles à l’adoption pour les clients sont les suivants : le modèle est-il capable de répondre à mes modèles et besoins spécifiques dans ce flux de travail ou cette application ? » explique Greg Pavlik. « L’autre frein est le prix. Heureusement, les facteurs de coût ont vraiment atteint un point d’inflexion considérable », indique-t-il. « Au cours du dernier trimestre, avec Cohere Command, nous avons obtenu un LLM de 35 millions de paramètres plus efficace que nous pouvons faire tourner avec un seul GPU Nvidia H100. Nous sommes donc très enthousiastes à l’idée de voir ces nouvelles techniques aboutir à des modèles qui sont non seulement meilleurs d’un point de vue linguistique, mais aussi moins chers ».