IA générative : OpenAI veut prouver qu’il en a encore sous le pied

GPT-4 Turbo : le moteur-fleuron d’OpenAI

Cette variante du modèle présenté en mars et disponible pour les développeurs depuis juillet dispose désormais d’une fenêtre de contexte de 128 000 tokens, contre 32 000 au maximum pour GPT-4. Cela permettrait d’ingérer l’équivalent de 300 pages de texte écrites en anglais en un seul prompt.

C’est l’objectif de Mistral AI, et c’est plus que le modèle Claude 2 de son concurrent Anthropic, qui lui est doté d’une fenêtre de contexte de 100 000 tokens. En sortie, GPT-4 Turbo peut générer des textes d’une longueur de 4 096 tokens.

« Outre le fait que nous avons allongé la longueur de la fenêtre de contexte, vous remarquerez que le modèle [GPT-4 Turbo] est bien plus précis dans ce cadre », indique Sam Altman. Son entraînement a été figé avec des données actualisées jusqu’en avril 2023.

Outre l’annonce de GPT-4 Turbo, OpenAI a présenté une nouvelle déclinaison de GPT-3 Turbo – sous la référence gpt-3.5-turbo-1106 – qui inclut désormais « par défaut » une fenêtre de contexte de 16 000 tokens.

Une myriade d’outils pour mieux exploiter les modèles « Turbo »

Tout comme GPT-4 Turbo, cette variante donne accès à plusieurs fonctionnalités. Ainsi, OpenAI a ajouté un mode JSON afin de contraindre le modèle à générer « un objet JSON syntaxiquement correct ».

« Il s’agit d’une demande importante de la part des développeurs. Cela facilitera grandement les appels d’API », déclare Sam Altman.

La startup soutenue par Microsoft assure que ces nouveaux modèles Turbo sont, de manière générale, meilleurs pour générer des objets JSON, XML et YAML.

Elle a, par ailleurs, amélioré l’appel de fonctions applicatives. Il s’agit de décrire en langage naturel des fonctions applicatives ou des appels à des API tierces, « et de faire en sorte que le modèle choisisse de produire un objet JSON contenant les arguments pour appeler ces fonctions ».

Dans cette recherche d’une plus grande consistance des résultats, OpenAI donne désormais accès en bêta au paramètre « seed » de ces deux modèles.

Cette « seed » est l’identifiant d’une entrée pour un modèle d’IA générative, comme une clé peut être associée à plusieurs valeurs dans une base de données clé-valeur. Stability AI met en avant la configuration ce paramètre pour tirer profit de ses modèles de diffusion de la collection StableDiffusion. Quand il s’agit de générer une image, une bonne partie du travail d’un prompt engineer est de trouver la combinaison idéale entre le contenu du prompt et la seed, afin d’optimiser les résultats. Une fois la « graine » trouvée, il suffit de modifier légèrement le prompt pour ajuster les scènes engendrées.

En permettant de sélectionner une graine en particulier, OpenAI s’assure que ses modèles Turbo produiront des résultats consistants, reproductibles, voire identiques.

« Cela vous donne un plus grand contrôle sur le comportement du modèle », résume Sam Altman. Pour les utilisateurs avancés, OpenAI donnera accès aux logs de probabilité afin de rationaliser la recherche de la bonne seed. La startup exploite déjà cette fonctionnalité pour améliorer ses tests unitaires et l’autocomplétion de requêtes sur un moteur de recherche.

La plupart de ces capacités sont mises en musique à travers l’API Assistant.

Assistant est présenté comme une IA capable d’appeler plusieurs modèles et outils d’OpenAI en parallèle. Cet agent conçu pour être intégré dans les applications des développeurs peut aussi accéder à des logiciels tiers à travers l’appel de fonctions.

Assistant dispose d’un lien à Code Interpretrer, un outil pour écrire et exécuter du code Python dans un environnement sécurisé, et à Retrieval.

Retrieval est un outil qui automatise le découpage de documents (docx, pdf, json, jpeg, csv, txt, md, etc.), leur indexation, la génération et le stockage des embeddings nécessaires dans la mise en place d’applications de Retrieval Augmented Generation (RAG). Pour rappel, cela permet de contextualiser la génération de contenus en y associant des données spécifiques. À noter que la base de données vectorielle et le stockage de documents (de moins de 512 Mo chacun) sont gérés par OpenAI. Toutefois, celui-ci assure que ces informations « ne seront jamais utilisées pour entraîner [ses] modèles ».

En clair, l’éditeur entend proposer des solutions managées pour remplacer les bases de données vectorielles, dont Pinecone et Weaviate, et le recours aux frameworks tels Llama-Index ou LangChain.

Des modèles plus performants, moins chers… tant que l’on ne les personnalise pas

GPT-4 Turbo et GPT3-Turbo-16K sont non seulement plus performants que leurs prédécesseurs, ils sont aussi moins chers.

« Les développeurs ont réclamé une chute du prix d’au moins 20 % », remarque Sam Altman.

OpenAI assure avoir optimisé leurs performances afin de les offrir « à un prix trois fois moins élevé pour les tokens en entrée, et deux fois moins élevé pour les tokens en sortie par rapport à GPT3-4K et GPT-4 ».

Ainsi, avec GPT-4 Turbo, OpenAI facture 0,01 dollar les 1 000 tokens en entrée, et 0,03 dollar en sortie, contre 0,03 dollar et 0,06 dollar pour GPT-4, et 0,06 dollar et 0,12 dollar pour GPT-4-32k. Avec GPT-3-16K, les 1 000 tokens en entrée sont facturés 0,003 dollar et 0,004 dollar en sortie.

En outre, certaines limites ont été levées afin de traiter deux fois plus de tokens par minute avec la collection de modèles GPT-4. Ces seuils pourront être personnalisés.

Un accès expérimental permettra de fine-tuner GPT-4 Turbo. OpenAI a également dévoilé, sans livrer de date de disponibilité, un moyen pour les entreprises d’entraîner des modèles personnalisés. La personnalisation « inclut l’accès à toutes les étapes de l’entraînement : l’ajout d’un préentrainement spécifique à un domaine, un apprentissage par renforcement spécialisé, etc. », selon Sam Altman.

Si OpenAI baisse les prix de ces services managés, le dirigeant prévient que l’accès au programme « Custom Models » sera limité et « ne sera pas donné » (« it won’t be cheap » en VO, N.D.L.R).

Selon le formulaire de contact, l’entraînement d’un tel modèle « peut prendre de nombreux mois et cela coûte a minima deux à trois millions de dollars ». Par ailleurs, le jeu de données soumis par l’entreprise candidate doit contenir « au moins plusieurs milliards de tokens ».

Outre le coût d’infrastructure et de calcul, OpenAI alloue un « groupe dédié de chercheurs » à la complétion de ce travail de longue haleine.

GPTs : des ChatGPT « maison » pour tous

« Vous pourrez développer votre propre ChatGPT pour accomplir à peu près n’importe quelle tâche ».

Sans doute bien moins cher à déployer, ChatGPT aura aussi le droit à ses versions personnalisées, via le programme GPTs (sic). « Vous pourrez développer votre propre ChatGPT pour accomplir à peu près n’importe quelle tâche », promet le CEO de la startup. En pratique, c’est une évolution de Custom Actions, déjà exploité par Canva, Zapier ou encore Expedia. La grande différence ? Ces modifications s’effectueront depuis une interface WYSIWYG sans écrire de code. Un menu à gauche permet d’interagir avec le modèle, pour créer l’application à prévisualiser dans le menu de droite. En clair, cela ressemble fortement à une UI pour l’API Assistant. Ces GPTs pourront être privés ou publics. Les ChatGPT personnalisés, ainsi que les applications développées à l’aide de l’API Assistant pourront être monétisés à travers une place de marché disponible dès le mois de décembre.

Renverser la vapeur dans la génération d’images

OpenAI n’abandonne pas l’idée de s’imposer dans la génération d’images, où les acteurs tels que Stability AI et Midjourney continuent de dominer publiquement. L’éditeur a évoqué de nouveau Dall-E 3, un décodeur pour remplacer les encodeurs VAE associé à Stable Diffusion, ainsi qu’une déclinaison de GPT-4 Turbo, « vision », dont la tarification dépend de la résolution de l’image à générer. Dans la même veine, OpenAI a présenté Whisper V3, une évolution de son modèle de reconnaissance vocale et TTS, un modèle de text-to-speech.

Point important à noter, OpenAI s’aligne sur les pratiques de Microsoft et d’Adobe en introduisant Copyright Shield. « Cela veut dire que nous défendrons nos clients et payerons les coûts d’un litige judiciaire lié à la violation du droit de propriété ou d’auteur. Cela s’applique autant à ChatGPT Enterprise qu’à nos API », indique le CEO d’OpenAI. Pour l’instant, les éléments des plaintes déposées aux États-Unis sont peu menaçants, selon les juristes.