VentureBeat/Ideogram
Nous avons longtemps imaginé le moment où un logiciel pourrait passer le test de Turing de manière constante. Aujourd’hui, nous prenons pour acquis non seulement l’existence de cette technologie incroyable, mais aussi sa capacité à s’améliorer rapidement.
Il est facile d’oublier tout ce qui s’est passé depuis le lancement de ChatGPT le 30 novembre 2022. Depuis lors, l’innovation et la puissance des modèles de langage de grande taille (LLM) n’ont cessé de croître. Il semblait qu’à chaque nouvelle semaine, une avancée majeure repoussait les limites de ce qui était possible.
Pour la première fois, des signes indiquent que ce rythme pourrait ralentir de manière significative.
Pour comprendre cette tendance, examinons les lancements d’OpenAI. Le passage de GPT-3 à GPT-3.5 a été monumental, propulsant OpenAI sous les projecteurs. La transition vers GPT-4 a également été impressionnante, marquant un bond en avant en termes de puissance et de capacité. Ensuite, nous avons eu GPT-4 Turbo, qui a amélioré la vitesse, suivi de GPT-4 Vision, qui a simplement exploité les capacités de reconnaissance d’image déjà présentes dans GPT-4. Plus récemment, GPT-4o a été lancé, offrant une meilleure multimodalité mais peu d’améliorations en termes de puissance.
D’autres LLM, tels que Claude 3 d’Anthropic et Gemini Ultra de Google, ont suivi une tendance similaire et semblent maintenant converger vers des niveaux de vitesse et de puissance comparables à ceux de GPT-4. Bien que nous ne soyons pas encore dans une phase de plateau, il semble que nous entrions dans une période de ralentissement. Le schéma qui émerge montre moins de progrès en puissance et en portée à chaque nouvelle génération.
Impact sur l’innovation des solutions
Cela a une grande importance ! Imaginez que vous ayez une boule de cristal à usage unique : elle peut répondre à n’importe quelle question, mais vous ne pouvez en poser qu’une seule. Si vous essayiez de comprendre l’avenir de l’IA, cette question pourrait être : À quelle vitesse les LLM continueront-ils à gagner en puissance et en capacité ?
Car la progression des LLM influence directement l’ensemble du domaine de l’IA. Chaque amélioration significative de la puissance des LLM a eu un impact majeur sur ce que les équipes peuvent développer et, plus crucialement, sur la fiabilité de ces solutions.
Pensons à l’efficacité des chatbots. Avec le premier GPT-3, les réponses aux requêtes des utilisateurs étaient souvent aléatoires. Puis est arrivé GPT-3.5, qui a facilité la création de chatbots convaincants, offrant des réponses meilleures mais encore inégales. Ce n’est qu’avec GPT-4 que nous avons observé des résultats systématiquement pertinents, avec un LLM capable de suivre des instructions et de faire preuve d’un certain niveau de raisonnement.
Nous attendons avec impatience GPT-5, mais OpenAI semble gérer les attentes avec prudence. Cette nouvelle version nous surprendra-t-elle par un bond en avant, entraînant une nouvelle vague d’innovation en IA ? Si ce n’est pas le cas, et que nous continuons à observer un progrès décroissant dans d’autres modèles LLM publics, je prévois des implications profondes pour l’ensemble du secteur de l’IA.
Voici comment cela pourrait se dérouler :
- Spécialisation accrue : Lorsque les LLM existants ne sont pas suffisamment puissants pour traiter des requêtes nuancées, la réponse la plus évidente pour les développeurs est de se spécialiser. Nous pourrions voir émerger davantage d’agents IA développés pour des cas d’utilisation relativement étroits, ciblant des communautés d’utilisateurs spécifiques. Le lancement des GPT par OpenAI pourrait être interprété comme une reconnaissance que disposer d’un système capable de tout traiter n’est pas réaliste.
- Émergence de nouvelles interfaces utilisateur : L’interface utilisateur dominante dans l’IA a jusqu’à présent été sans conteste le chatbot. Va-t-elle rester ainsi ? Bien que les chatbots présentent des avantages clairs, leur ouverture apparente (l’utilisateur peut saisir n’importe quelle requête) peut en réalité conduire à une expérience utilisateur décevante. Nous pourrions voir apparaître davantage de formats où l’IA est impliquée, mais avec des garde-fous et des restrictions guidant l’utilisateur. Pensez à un système d’IA qui analyse un document et propose à l’utilisateur quelques suggestions possibles, par exemple.
- Les LLM open source comblent le fossé : Étant donné que le développement de LLM est perçu comme extrêmement coûteux, il semblerait que Mistral, Llama et d’autres fournisseurs open source sans modèle commercial clair soient désavantagés. Cela pourrait ne pas avoir autant d’importance si OpenAI et Google ne produisent plus d’avancées majeures. Lorsque la concurrence se déplacera vers les fonctionnalités, la facilité d’utilisation et les capacités multimodales, ils pourraient être en mesure de se défendre.
- Intensification de la course aux données : Une des raisons possibles pour lesquelles nous voyons les LLM commencer à se situer dans des gammes de capacités similaires pourrait être qu’ils manquent de données d’entraînement. À mesure que nous approchons de la fin des données textuelles publiques, les entreprises de LLM devront chercher d’autres sources. C’est peut-être pourquoi OpenAI se concentre tant sur Sora. Exploiter des images et des vidéos pour l’entraînement pourrait non seulement améliorer de manière significative la manière dont les modèles gèrent les entrées non textuelles, mais aussi apporter plus de nuance et de subtilité dans la compréhension des requêtes.
- Apparition de nouvelles architectures LLM : Jusqu’à présent, tous les systèmes majeurs utilisent des architectures de transformateurs, mais d’autres ont montré un potentiel prometteur. Elles n’ont jamais vraiment été pleinement explorées ou investies, en raison des avancées rapides des LLM basés sur des transformateurs. Si ces progrès commencent à ralentir, nous pourrions voir plus d’énergie et d’intérêt pour des modèles non transformateurs comme Mamba.
Réflexions finales : L’avenir des LLM
Bien sûr, tout cela reste spéculatif. Personne ne sait où se dirigera la capacité des LLM ou l’innovation en IA. Ce qui est clair, cependant, c’est que les deux sont étroitement liés. Cela signifie que chaque développeur, designer et architecte travaillant dans le domaine de l’IA doit réfléchir à l’avenir de ces modèles.
Un schéma possible qui pourrait émerger pour les LLM : qu’ils commencent à rivaliser de plus en plus sur les niveaux de fonctionnalités et de facilité d’utilisation. Au fil du temps, nous pourrions observer une certaine forme de commoditisation, semblable à ce que nous avons vu ailleurs dans le monde technologique. Pensez, par exemple, aux bases de données et aux fournisseurs de services cloud. Bien qu’il existe des différences substantielles entre les diverses options sur le marché, et que certains développeurs aient des préférences claires, la plupart les considéreraient comme largement interchangeables. Il n’y a pas de « gagnant » clair en termes de puissance et de capacité.
