IA générative sur site : LightOn et HPE proposent une offre commune

Paradigm sur des serveurs HPE ProLiant

De son côté, la startup française propose la plateforme Paradigm. Celle-ci inclut une « usine à prompts », un moyen de déployer un système RAG sur des documents internes, de bâtir des agents conversationnels, de répondre à des tâches de classification, de résumé, de reformulation, de traduction, ou encore d’extraction d’entités nommées. LightOn y intègre son modèle dérivé du LLM Falcon, Alfred 40B, et offre la possibilité d’héberger les LLM « open weight » disponibles sur les plateformes communautaires.

Dans le cas présent, LightOn peut installer Paradigm sur les serveurs 2U 2P HPE ProLiant DL380A Gen11 (la génération suivante arrive). Chaque serveur est équipé des processeurs Intel Xeon Scalable de 4^e ou 5^e génération dotés de 8 à 64 cœurs, jusqu’à 3 To de RAM DDR5 et, dans le cas présent, de deux ou quatre GPU NVIDIA H100 NVL 94 Go PCIe (avec NVLINK). Un modèle comme Alfred sera à l’aise dès la présence de deux de ces GPU.

« [En matière de configuration], nous travaillons avec les clients et HPE suivant leurs requêtes (nombre d’utilisateurs, latence attendue, etc.) », indique Laurent Daudet, cofondateur et CEO de LightOn.

Une fois déployée, et selon les deux partenaires, la plateforme Paradigm ne requiert pas l’assistance des équipes techniques pour développer les cas d’usage.

Toutes les entreprises, mais surtout les plus grandes

« Notre objectif est de proposer des outils faciles à déployer dans leur infrastructure, personnalisables en fonction de leurs besoins et capables de mettre en production des solutions rentables qui génèrent des gains de productivité », déclare Igor Carron, président et cofondateur de LightOn, dans un communiqué de presse. 

Les entreprises ne paieraient que la licence annuelle renouvelable de la suite de LightOn par serveur. Une offre de leasing est comprise dans l’offre montée avec HPE, réduisant ainsi la facture à l’entrée. De 28 000 euros HT à plus de 110 000 euros le GPU H100 94 Go chez certains revendeurs, auquel s’ajoute le prix de la configuration, le coût de départ de l’IA générative sur site sans cette option atteint plusieurs centaines de milliers d’euros pour un seul serveur.

« Dans un contexte où les GPU sont chers et difficiles à trouver, le marché recherche des offres groupées incluant une solution d’IA générative adaptée à leurs besoins (performante et sécurisée) ainsi que des GPU disponibles », note Laurent Daudet.

Les deux acteurs assurent que « les entreprises de toutes tailles » peuvent accéder à l’offre. Dans les faits, HPE et LightOn ciblent en priorité les grands comptes. D’autant qu’il faudra prévoir les interconnexions avec les systèmes d’information de l’entreprise pour récupérer les données et les vectoriser.

En outre, les deux entreprises envisagent de proposer ensemble « des solutions personnalisées pour leurs clients communs », en fine-tunant les modèles sur les données des entreprises concernées.