GenAI : l’option Self-Hosted de Gitlab Duo attise la curiosité des clients français

L’IA générative sauce DevOps à gérer soi-même

Mais lors du DevSecOps World Tour Paris, les clients étaient davantage intéressés par la possibilité d’autohéberger les modèles qui propulsent GitLab Duo. Pour rappel, c’était une promesse que David DeSanto, Chief Product Officer chez GitLab avait évoquée dès le mois d’avril avec LeMagIT. L’événement de ce 14 novembre a été l’occasion pour les équipes de l’éditeur de mesurer l’attrait de cette fonctionnalité.

Pour rappel, Duo est accessible depuis les éditions SaaS et Self-Managed de GitLab. Le service s’appuie sur plusieurs grands modèles de langage, dont ceux d’Anthropic et de Google.

« Nous offrons la possibilité de fournir les modèles dans différentes régions cloud, dont celles situées en Europe », indique Fabian Zimmer, directeur Product Management SaaS, chez GitLab. « Mais nous avons également entendu, en particulier de la part de clients dans des secteurs très réglementés, que la prise en charge de modèles autohébergés est vraiment essentielle. Dans certains domaines, il est tout simplement impossible d’envoyer des données en dehors des limites de son propre réseau, ce qui rend l’utilisation des capacités d’IA très difficile ».

Les clients français alignés avec l’approche de GitLab

Les participants à l’événement le comprennent bien.

« Nous sommes totalement d’accord sur l’approche », déclare Guillaume Cécile, responsable des outils et des solutions SecOps chez Carrefour, auprès du MagIT. « Chez Carrefour, nous avons un principe pour l’utilisation de l’IA, organisé en trois catégories », poursuit-il. « Si les données sont non sensibles, on peut utiliser une IA publique sans restriction. Dès qu’il y a des données sensibles, l’IA doit être privée. Et si des données personnelles sont impliquées, l’IA doit être privée avec un contrôle strict des accès. Dans le cas d’une IA autoapprenante, un contrôle d’accès aux données est alors obligatoire ».

Par ailleurs, Thalès est venu présenter son cas d’usage de la plateforme DevSecOps, tandis que des acteurs de la défense et des représentants d’agences rattachés à divers services publics étaient présent dans lors du keynote d’ouverture. Eux souhaitaient savoir dans quelles conditions il serait possible d’héberger les LLM, s’il y avait une sélection de modèles préétablie ou s’il serait même capable d’interagir avec des bases de code commentées en français. Vraisemblablement pris de court, le responsable du produit SaaS n’avait pas toutes les réponses dans l’immédiat. Il a tout de même invité les clients français ayant une licence GitLab Ultimate pour l’édition Self-Managed et ayant souscrit à l’extension Duo Enterprise à tester cette capacité déjà disponible en bêta.

L’éditeur fournit dès à présent une liste de LLM approuvé, des recommandations d’infrastructure et des modes de déploiement, sur site ou dans le cloud.

En effet, cette option permet de déployer derrière un VPC d’un compte cloud AWS ou Azure un ou plusieurs des modèles compatibles listés par GitLab à travers les services Amazon Bedrock et Azure OpenAI.

Surtout, il est possible de déployer les modèles sur site à travers le framework de déploiement vLLM.

GitLab liste trois scénarios (complétion de code, génération de code et GitLab Duo Chat) et indique les LLM pris en charge pour chacun d’entre eux. Sur site, Mistral 7B, Mixtral 8x7B, Mixtral 8x7B et Mixtral 8x22B prennent en charge l’ensemble des scénarios. En sus de Codestral 22B, différentes variantes de DeepSeek Coder 33B, de Code-Llama 13B et de CodeGemma 7B peuvent être également utilisées dans la même configuration pour la complétion et la génération de code.

Dans le cloud, Claude 3.5 Sonnet prend charge tous les cas d’usage, tandis que GPT 3.5 Turbo et GPT4o complètent ou génèrent du code.

D’autres LLM seront prochainement pris en charge et GitLab prévoit déjà de supporter les modèles fine-tunés.

« Nous espérons fournir en disponibilité générale cette fonction de modèles self-hosted ou self-managed au cours de l’année prochaine, de préférence avant la fin du premier semestre 2025 », renseigne Fabian Zimmer. « Je pense que ce qui est important du point de vue du produit, c’est que nous voulons que vous ayez une bonne expérience avec les modèles, non seulement si vous vous connectez à un fournisseur tiers, mais aussi lorsque vous le faites de manière autonome. Je sais que c’est une chose à laquelle les équipes sont très attachées ».

Quant à l’efficacité d’infusion de l’IA générative dans les cycles de développement, les entreprises peuvent déjà trouver un tableau de bord censé rendre visible les accélérations ou les ralentissements des travaux des développeurs.