Technologie
Le 30 juillet 2024 à 16h07
OpenAI, bien que confronté à des défis financiers, continue de faire avancer ses innovations dans le domaine de l’intelligence artificielle. Récemment, l’entreprise a discrètement lancé une nouvelle page web annonçant un modèle de langage étendu : le GPT-4o Long Output. Ce modèle est une version améliorée du GPT-4o, introduit en mai, mais avec une capacité de sortie considérablement augmentée, atteignant jusqu’à 64 000 tokens, contre 4 000 pour le modèle précédent, représentant ainsi une multiplication par 16.
Les tokens, pour rappel, sont des représentations numériques de concepts, de constructions grammaticales et de combinaisons de lettres et de chiffres, organisées selon leur signification sémantique dans le fonctionnement interne d’un modèle de langage. Par exemple, le mot « Bonjour » est un token, tout comme « salut ». OpenAI propose une démonstration interactive des tokens via son Tokenizer, et le chercheur en apprentissage automatique Simon Willison a également développé un excellent encodeur/décodeur de tokens.
Avec cette augmentation de 16 fois des sorties de tokens, OpenAI permet désormais aux utilisateurs, en particulier aux développeurs tiers utilisant son API, d’obtenir des réponses beaucoup plus longues, pouvant atteindre la longueur d’un roman de 200 pages.
Pourquoi OpenAI lance-t-il un modèle à sortie prolongée ?
La décision d’OpenAI d’introduire cette capacité de sortie étendue découle des retours des clients, qui ont exprimé le besoin de contextes de sortie plus longs. Un porte-parole d’OpenAI a déclaré : « Nous avons reçu des retours de nos clients souhaitant un contexte de sortie plus long. Nous testons constamment de nouvelles façons de répondre au mieux aux besoins de nos clients. »
La phase de test alpha devrait durer quelques semaines, permettant à OpenAI de recueillir des données sur l’efficacité de cette sortie prolongée pour répondre aux besoins des utilisateurs. Cette fonctionnalité est particulièrement bénéfique pour des applications nécessitant des réponses détaillées et étendues, comme l’édition de code et l’amélioration de l’écriture. En offrant des sorties plus longues, le modèle GPT-4o peut fournir des réponses plus complètes et nuancées, ce qui est un atout majeur pour ces cas d’utilisation.
Distinction entre contexte et sortie
Depuis son lancement, le modèle GPT-4o offrait déjà une fenêtre de contexte maximale de 128 000 tokens, c’est-à-dire le nombre de tokens que le modèle peut traiter lors d’une interaction, incluant les tokens d’entrée et de sortie. Pour le GPT-4o Long Output, cette fenêtre de contexte maximale reste à 128 000.
Comment OpenAI parvient-il à augmenter le nombre de tokens de sortie de 4 000 à 64 000 tout en maintenant la fenêtre de contexte globale à 128 000 ? Cela repose sur des calculs simples : bien que le GPT-4o initial ait une fenêtre de contexte totale de 128 000 tokens, son message de sortie unique était limité à 4 000. Pour le nouveau modèle GPT-4o mini, la fenêtre de contexte totale est également de 128 000, mais la sortie maximale a été portée à 16 000 tokens.
Ainsi, pour le GPT-4o, l’utilisateur peut fournir jusqu’à 124 000 tokens en entrée et recevoir jusqu’à 4 000 tokens en sortie lors d’une interaction. Pour le GPT-4o mini, l’utilisateur peut fournir jusqu’à 112 000 tokens en entrée pour obtenir un maximum de 16 000 tokens en sortie. Avec le GPT-4o Long Output, la fenêtre de contexte est toujours limitée à 128 000, mais l’utilisateur peut fournir jusqu’à 64 000 tokens d’entrée pour recevoir jusqu’à 64 000 tokens en sortie, si l’utilisateur ou le développeur souhaite privilégier des réponses plus longues tout en limitant les entrées.
Dans tous les cas, l’utilisateur ou le développeur doit faire un choix : souhaite-t-il sacrifier certains tokens d’entrée pour obtenir des sorties plus longues tout en restant dans la limite de 128 000 tokens au total ? Pour ceux qui désirent des réponses plus longues, le GPT-4o Long Output offre désormais cette option.
Tarification compétitive et abordable
Le nouveau modèle GPT-4o Long Output est proposé à des tarifs attractifs :
- 6 USD par million de tokens d’entrée
- 18 USD par million de tokens de sortie
Comparé à la tarification habituelle du GPT-4o, qui est de 5 USD par million de tokens d’entrée et 15 USD par million de tokens de sortie, ou même au nouveau GPT-4o mini à 0,15 USD par million de tokens d’entrée et 0,60 USD par million de tokens de sortie, il est clair que cette nouvelle offre est positionnée de manière agressive, dans le but de rendre l’IA puissante accessible à un large éventail de développeurs.
Actuellement, l’accès à ce modèle expérimental est limité à un petit groupe de partenaires de confiance. Le porte-parole a ajouté : « Nous menons des tests alpha pendant quelques semaines avec un nombre restreint de partenaires de confiance pour voir si les sorties plus longues répondent à leurs besoins. » Selon les résultats de cette phase de test, OpenAI pourrait envisager d’élargir l’accès à un plus grand nombre de clients.
Perspectives d’avenir
Le test alpha en cours fournira des informations précieuses sur les applications pratiques et les avantages potentiels du modèle à sortie prolongée. Si les retours du groupe initial de partenaires sont positifs, OpenAI pourrait envisager de rendre cette capacité plus largement disponible, permettant à un plus grand nombre d’utilisateurs de bénéficier des capacités de sortie améliorées.
Avec le modèle GPT-4o Long Output, OpenAI espère clairement répondre à un éventail encore plus large de demandes des clients et alimenter des applications nécessitant des réponses détaillées.
