Déplace-toi, Devin : Le Génie de Cosine s’empare de la couronne de l’IA en codage !

Technologie

Le 12 août 2024 à 9h53

Cognition, une startup innovante, a récemment captivé l’attention avec son produit Devin, un ingénieur logiciel alimenté par l’intelligence artificielle, basé sur le modèle de langage GPT-4 d’OpenAI. Ce logiciel était capable d’écrire et de modifier du code de manière autonome en réponse à des instructions formulées en langage naturel.

Cependant, Devin a été lancé en mars 2024, ce qui semble déjà lointain dans le domaine dynamique de l’IA générative.

Aujourd’hui, une autre startup, Cosine, issue de l’accélérateur Y Combinator à San Francisco, a présenté son propre ingénieur autonome alimenté par l’IA, nommé Genie. Selon Cosine, Genie surpasse Devin avec un score de 30 % sur le test de référence SWE-Bench, contre 13,8 % pour Devin, et dépasse même les 19 % obtenus par les modèles d’Amazon, Q et Factory’s Code Droid.

Genie : Un Ingénieur Logiciel Révolutionnaire

Genie est un modèle avancé d’ingénierie logicielle basé sur l’IA, conçu pour gérer de manière autonome une variété de tâches de codage, allant de la correction de bogues à la création de fonctionnalités, en passant par le refactoring de code et la validation via des tests approfondis, le tout selon les instructions des ingénieurs ou des responsables.

Il peut fonctionner de manière totalement autonome ou en collaboration avec des utilisateurs, offrant ainsi une expérience similaire à celle de travailler aux côtés d’un collègue compétent.

« Nous avons toujours rêvé de créer quelque chose capable d’effectuer automatiquement des tâches de programmation de bout en bout avec un haut degré de fiabilité – un collègue artificiel. Genie est le premier pas vers cet objectif », a déclaré Pullen, co-fondateur et PDG de Cosine, dans un article de blog annonçant les performances de Genie.

Capacités de Genie

Genie est capable de rédiger des logiciels dans une multitude de langages de programmation. Son rapport technique mentionne 15 langages, parmi lesquels :

• JavaScript
• Python
• TypeScript
• Java
• C#
• C++
• Rust
• Scala
• Kotlin
• Swift
• Golang
• PHP
• Ruby

Cosine affirme que Genie peut imiter les processus cognitifs des ingénieurs humains. « Mon idée est simple : faites-lui observer comment un ingénieur humain effectue son travail et imitez ce processus », a expliqué Pullen.

Le code généré par Genie est stocké dans le dépôt GitHub de l’utilisateur, ce qui signifie que Cosine ne conserve pas de copie, réduisant ainsi les risques de sécurité. De plus, la plateforme logicielle de Cosine est déjà intégrée à Slack et aux notifications système, permettant à Genie d’alerter les utilisateurs sur son état, de poser des questions ou de signaler des problèmes, comme le ferait un bon collègue.

Genie peut également poser des questions de clarification et répondre aux commentaires sur les demandes de tirage (pull requests) qu’il génère, ce qui vise à le faire agir comme un véritable collègue.

Alimenté par un Modèle OpenAI à Long Contexte

Contrairement à de nombreux modèles d’IA qui s’appuient sur des modèles fondamentaux complétés par quelques outils, Genie a été développé grâce à un processus propriétaire impliquant l’entraînement et le perfectionnement d’un modèle d’IA à sortie longue de tokens d’OpenAI.

« En ce qui concerne le modèle que nous utilisons, il s’agit d’une variante GPT-4o (actuellement non disponible au grand public) qu’OpenAI nous a permis d’entraîner dans le cadre de son programme d’accès expérimental », a précisé Pullen. « Ce modèle a bien performé et nous avons partagé nos apprentissages avec l’équipe de perfectionnement d’OpenAI. Cela a été un tournant pour nous, car cela les a convaincus d’investir des ressources dans nos techniques novatrices. »

Bien que Cosine ne précise pas le modèle exact, OpenAI a récemment annoncé la disponibilité limitée d’un nouveau modèle GPT-4o à Long Contexte de Sortie, capable de générer jusqu’à 64 000 tokens de sortie, ce qui représente une avancée significative dans le domaine de l’intelligence artificielle.

L’importance des données d’entraînement

Pour sa dernière phase d’entraînement, Genie a été alimenté par des milliards de tokens de données, soigneusement sélectionnées pour maximiser la compétence du modèle dans les langues les plus pertinentes pour ses utilisateurs actuels, comme l’indique Pullen dans le rapport technique de Cosine sur l’agent.

Grâce à sa vaste fenêtre de contexte et à un processus d’amélioration continue, Genie affine ses solutions jusqu’à atteindre les résultats escomptés.

Cosine a consacré près d’un an à la constitution d’un ensemble de données englobant une variété d’activités de développement logiciel réalisées par de véritables ingénieurs.

Cependant, Pullen souligne dans son article de blog que l’acquisition et l’utilisation efficace de telles données s’avèrent extrêmement complexes, car elles sont souvent inexistantes. « Notre pipeline de données combine des artefacts, une analyse statique, un auto-apprentissage, une vérification étape par étape et des modèles d’IA ajustés sur un grand volume de données étiquetées pour reconstituer le processus détaillé ayant conduit au résultat final. L’importance de l’étiquetage des données ne peut être sous-estimée ; obtenir des données de haute qualité provenant d’ingénieurs logiciels compétents est difficile, mais les résultats en valent la peine, car ils offrent un aperçu précieux de la manière dont les développeurs abordent implicitement les problèmes, » explique-t-il.

Pullen précise dans un courriel à VentureBeat : « Nous avons commencé avec des artefacts de développeurs logiciels effectuant leur travail, tels que des demandes de tirage, des commits et des problèmes provenant de dépôts OSS (licence MIT), puis nous avons traité ces données pour reconstituer le raisonnement ayant conduit aux conclusions humaines. Cet ensemble de données propriétaire a servi à entraîner la version 1, et nous avons ensuite utilisé l’auto-apprentissage pour progresser. »

Ce jeu de données représente non seulement une lignée d’information parfaite et une découverte de connaissances incrémentales, mais il capture également le processus décisionnel étape par étape des ingénieurs humains.

En formant réellement nos modèles avec cet ensemble de données, plutôt qu’en se contentant de solliciter des modèles de base comme le font la plupart, nous avons constaté que nous ne générons plus simplement du code aléatoire jusqu’à ce qu’un résultat satisfaisant émerge ; nous abordons les problèmes de manière humaine, » affirme Pullen.

Structure tarifaire

Dans un courriel de suivi, Pullen a décrit la structure tarifaire de Genie.

Il a indiqué qu’elle sera initialement divisée en deux niveaux :

1. Une option accessible, tarifée de manière compétitive par rapport aux outils d’IA existants, autour de 20 dollars. Ce niveau comportera certaines limitations de fonctionnalités et d’utilisation, mais mettra en avant les capacités de Genie pour les particuliers et les petites équipes.

2. Une offre de niveau entreprise avec des fonctionnalités étendues, une utilisation pratiquement illimitée et la possibilité de créer un collègue IA parfait, expert dans chaque ligne de code écrite en interne. Ce niveau sera tarifé de manière plus substantielle, reflétant sa valeur en tant que véritable collègue d’ingénierie IA.

Impacts et évolutions futures

Le lancement de Genie a des implications considérables pour les équipes de développement logiciel, en particulier celles cherchant à améliorer leur productivité et à réduire le temps consacré aux tâches répétitives. Grâce à sa capacité à gérer de manière autonome des défis de programmation complexes, Genie pourrait transformer la manière dont les ressources d’ingénierie sont allouées, permettant aux équipes de se concentrer sur des initiatives plus stratégiques.

« L’idée que les ressources d’ingénierie ne soient plus une contrainte est un moteur majeur pour moi, surtout depuis que j’ai lancé une entreprise, » écrit Pullen. « La valeur d’un collègue IA capable d’intervenir dans un code inconnu et de résoudre des problèmes non détectés dans des délais bien plus courts qu’un humain est évidente et a d’énormes implications pour le monde. »

Cosine a des projets ambitieux pour le développement futur de Genie. L’entreprise prévoit d’élargir son portefeuille de modèles pour inclure des modèles plus petits pour des tâches simples et des modèles plus grands capables de relever des défis plus complexes. De plus, Cosine envisage d’étendre son travail dans les communautés open-source en améliorant l’un des principaux modèles open-source et en pré-entraînant sur un vaste ensemble de données.

Disponibilité et prochaines étapes

Bien que Genie soit déjà en cours de déploiement auprès d’utilisateurs sélectionnés, l’accès plus large est encore en cours de gestion.

Les parties intéressées peuvent demander un accès anticipé pour essayer Genie sur leurs projets en remplissant un formulaire sur le site de Cosine.

Cosine reste engagé dans une amélioration continue, avec des plans pour expédier des mises à jour régulières des capacités de Genie en fonction des retours des clients.

Pullen a noté : « SWE-Bench a récemment modifié ses exigences de soumission pour inclure le processus de travail complet des modèles d’IA, ce qui pose un défi pour nous, car cela nécessiterait de révéler des méthodologies propriétaires. Pour l’instant, nous avons décidé de garder ces processus internes confidentiels, mais nous avons rendu les résultats finaux de Genie disponibles publiquement pour vérification indépendante sur GitHub. »

À propos de Cosine

Cosine est un laboratoire de raisonnement humain axé sur la recherche et la codification des méthodes par lesquelles les humains accomplissent des tâches, dans le but d’enseigner à l’IA à imiter, exceller et développer ces tâches.

Fondée en 2022 par Pullen, Sam Stenner et Yang Li, la mission de l’entreprise est de repousser les limites de l’IA en appliquant le raisonnement humain pour résoudre des problèmes complexes, en commençant par l’ingénierie logicielle.

Cosine a déjà levé 2,5 millions de dollars en financement initial auprès d’Uphonest et de SOMA Capital, avec la participation de Lakestar, Focal et d’autres.

Avec une petite équipe mais hautement qualifiée, Cosine a déjà réalisé des avancées significatives dans le domaine de l’IA, et Genie n’est que le début.

« Nous croyons fermement que nous sommes capables de codifier le raisonnement humain pour n’importe quel emploi et secteur, » a déclaré Pullen dans le blog d’annonce. « L’ingénierie logicielle est simplement le point de départ le plus intuitif, et nous avons hâte de vous montrer tout ce sur quoi nous travaillons. »