IA générative : Salesforce Ventures continue à investir malgré les défis

Investir dans de petits modèles, spécifiques à un domaine

Voilà pour le beau discours. Outre le fait que le fonds d’investissement espère en tirer un retour sur investissement, il s’agit aussi de supporter les bonnes startups dont les solutions peuvent bénéficier à Salesforce, à ses clients et à l’ensemble de l’écosystème, de préférence en respectant une certaine éthique et en étant responsable.

« Nous pensons nous concentrer sur le financement d’entreprises développant des modèles plus petits qui nécessiteront moins de GPU, des modèles verticalisés, spécifiques à un domaine et des outils aidant les modèles et les agents à être plus efficace », précise John Somorjai, Chief Corporate Development & investments Officer chez Salesforce Ventures, lors d’une autre réunion préparatoire.

Le dirigeant met là en avant les intérêts du groupe. Alors qu’il cherche à déployer l’IA générative chez ses clients, Salesforce veut maîtriser les agents et proposer à ses clients des solutions qui répondent aux exigences de leur secteur.

Les grands modèles de langage sont entraînés sur de grands volumes de données. Ils peuvent être fine-tuné pour des usages spécifiques. L’entité R&D de Salesforce entraîne certains petits modèles ou ce qu’elle appelle des Large Action Models (ou LAM), des LLM entraînés pour accomplir des tâches ou des actions. Pour autant, il est peu probable que Salesforce AI Research travaille sur des projets en dehors des enjeux d’un éditeur de logiciels habitués à traiter des données clients et marketing.

Très clairement, l’entraînement de LLM spécifiques à un domaine d’expertise de ses clients (par exemple, la santé, l’automobile, etc.) n’est pas sa priorité. Ce travail incombe aux partenaires. Dans un même temps, Marc Benioff, cofondateur et CEO de Salesforce était le porte-drapeau d’un nouveau slogan « Don’t DYI your AI », reprenant par la même occasion le fameux symbole du logo « No Software ».

Techniquement, Salesforce privilégie des techniques RAG avancées, du Chain of Though, de l’ingénierie de prompt et d’autres éléments qu’il préfère garder secrets.

Il faudra donc, selon ces logiques, que des startups se spécialisent de l’entraînement de LLM adaptés aux besoins des grands secteurs industriels. Reste à trouver des données pertinentes… que les entreprises ne sont pas forcément prêtes à léguer.

Celles-là préféreraient faire le travail elles-mêmes, selon Vipul Ved Prakash, cofondateur et CEO de Together AI.

« Nous observons une approche hybride qui implique souvent la combinaison de modèles standards et d’autres fine-tuné avec des données propriétaires », affirme-t-il. « Nous pensons que l’open source jouera un rôle majeur dans le développement de l’IA. Cela donne aux utilisateurs beaucoup plus de contrôle sur la manière dont ils peuvent les modifier, les adapter et les exécuter dans leurs environnements privés et sécurisés », ajoute-t-il. Un avis partagé par Anthropic.

L’écosystème de l’IA pétille, mais il n’y a pas de bulle

Peu importe, Salesforce Ventures et les porte-parole de startups comme Together.ai et Anthropic sont persuadés qu’il n’y a pas de bulle de l’IA. Pas encore.

« Je pense que nous n’en sommes qu’au début. Je ne crois pas que nous soyons proches d’une situation de bulle », résume Kate Earle Jensen, Head of Revenue chez Anthropic.

« Je pense que nous n’en sommes qu’au début. Je ne crois pas que nous soyons proches d’une situation de bulle ».

Il y aurait donc un bel avenir pour l’IA générative du fait de la promesse d’un déploiement à l’échelle et des trous dans la raquette à combler. Il y a tout de même un hic.

Pour le moment, les investisseurs et les startups ont bien du mal à porter fièrement la casquette « éthique et responsable ».

Malgré leurs efforts, les LLM demeurent des machines à halluciner qu’il faut tenter de contrôler par des moyens externes. Ce serait d’ailleurs un sujet sous-estimé, selon Kate Earle Jensen.

« Je prêche pour ma paroisse, mais je pense que l’aspect sécurité de tout cela est largement sous-estimé », affirme-t-elle. « À mesure que ces modèles deviennent plus autonomes, il sera de plus en plus crucial de comprendre comment ils prennent leurs décisions, en particulier lorsqu’ils seront utilisés dans des domaines critiques ».

Pour rappel, Anthropic est l’un des acteurs les plus influents dans la limitation des hallucinations à l’entraînement. Sa méthode a fortement inspiré les autres acteurs du marché dans leur travail de mitigation des biais.

D’ailleurs, Kate Jensen assure que l’une des missions en cours d’Anthropic est de casser l’effet boîte noire des LLM. « Nous travaillons sur l’interprétabilité. Non seulement nous voulons comprendre comment un modèle a pris une décision, mais idéalement pouvoir ajuster certains aspects très spécifiques du modèle pour s’assurer que les résultats sont exactement conformes à vos intentions », affirme-t-elle. Les premiers travaux rassureraient les clients de la startup.

Qu’elle sera verte mon électricité

L’autre limite est environnementale. Les LLM d’OpenAI, de Meta, d’Anthropic, de Google ou d’AWS sont entraînés sur des milliers de GPU pendant plusieurs mois. Des machines qui consomment énormément d’énergie. L’architecture type d’un centre de données est d’ailleurs en train de profondément changer sous l’influence de l’IA générative.

Comment s’attaquer à ce problème ?

« Je ne prétends pas être un expert en matière de gestion énergétique », répond Kate E. Jensen à la question du MagIT. « Nous nous appuyons beaucoup sur nos partenaires, en particulier ceux du cloud, qui nous fournissent l’infrastructure nécessaire pour entraîner nos modèles », ajoute-t-elle.

« C’est un sujet qui nous préoccupe énormément, et c’est l’une des raisons pour lesquelles nous mettons autant d’efforts dans l’amélioration de l’efficacité de nos entraînements », poursuit-elle.  

Ce ne serait pas seulement une question de coût.

« Tout le monde est conscient de l’énorme consommation d’énergie requise pour ces entraînements et pour l’exécution des inférences de grands modèles. Il est donc crucial de bien aborder ce défi », lance-t-elle.

« Tout le monde est conscient de l’énorme consommation d’énergie requise pour ces entraînements et pour l’exécution des inférences de grands modèles. Il est donc crucial de bien aborder ce défi ».

Pour Vipul Ved Prakash, des solutions existent et elles sont de trois ordres différents. Il y a d’abord des optimisations logicielles à effectuer. « Avec les bonnes optimisations, l’on peut rendre un entraînement jusqu’à 20 à 30 fois plus efficace », assure-t-il sans entrer dans les détails.

Ensuite, il n’est pas nécessaire de choisir un data center proche de ses bureaux. « Nous et l’ensemble de l’écosystème de recherche en IA constatons l’émergence d’un écosystème cloud décentralisé », note-t-il. « Par exemple, certains modèles n’ont pas besoin d’une connexion Internet optimale lors de leur entraînement, ce qui permet de localiser les centres de données dans des régions où l’électricité est plus verte, comme en Islande, qui deviennent des hubs d’entraînement ».

« Les puces doivent devenir plus efficaces, car [actuellement] il est impossible, d’un point de vue physique, de réduire la chaleur produite par ces systèmes ».

Enfin, les fabricants de puces doivent fournir des efforts, estime le CEO de Together AI. « Les puces doivent devenir plus efficaces, car [actuellement] il est impossible, d’un point de vue physique, de réduire la chaleur produite par ces systèmes. Cette tendance va sans doute s’accentuer. Actuellement, les coûts énergétiques et de refroidissement sont environ 10 à 15 fois plus élevés [qu’avec des infrastructures traditionnelles], ce qui représente un défi majeur qu’il faudra surmonter ».

Pour Claudine Emeott et son équipe, les acteurs travaillant sur la gestion ou le développement d’infrastructures IT et d’énergie plus efficiente sont de potentielles cibles d’investissement.

« C’est un domaine sur lequel mon équipe et moi travaillons activement pour comprendre le paysage et identifier d’éventuelles opportunités d’investissement », affirme-t-elle. « En tant qu’investisseurs en phase de croissance, nous n’avons pas encore de réponse définitive ».

En novembre 2022, Salesforce Ventures a investi dans WeaveGrid en menant la levée de série B (35 millions de dollars). Cette startup éditrice d’un logiciel œuvre à la gestion de la recharge des véhicules électriques pour alléger la pression sur le réseau électrique. « On peut envisager d’appliquer des solutions similaires à d’autres domaines », imagine Claudine Emeott.

La responsable évoque une autre startup américaine dans laquelle Salesforce Ventures n’a pas investi : Crusoe Energy.

Celle-ci mise sur la colocalisation de ses centres de données « avec les sites de production d’énergie, l’utilisation du gaz naturel qui serait autrement brûlé à la torche, les énergies renouvelables en dehors des heures de pointe et d’autres sources d’énergie non exploitées ».

Son cloud, utilisé entre autres par TogetherAI, est en bêta privé. Il réunit des instances équipées de GPU Nvidia (A6000, L40S, A100, H100).

« De nombreux acteurs, qu’il s’agisse des dirigeants d’entreprises ou des investisseurs, réfléchissent à ces questions, et je pense que nous assisterons à beaucoup d’innovations dans les années à venir », considère-t-elle.