Au début de l’ère de l’informatique haute performance, les grandes entreprises technologiques de l’époque ont chacune investi massivement dans le développement de leurs propres versions propriétaires de Unix. À cette époque, il était difficile d’imaginer qu’une autre approche pourrait donner naissance à des logiciels aussi avancés. Cependant, avec le temps, le système d’exploitation open source Linux a gagné en popularité, d’abord parce qu’il permettait aux développeurs de modifier le code à leur guise et était plus économique, puis parce qu’il est devenu plus sophistiqué, plus sécurisé et a bénéficié d’un écosystème plus large offrant davantage de fonctionnalités que n’importe quel Unix propriétaire. Aujourd’hui, Linux est devenu la norme de l’industrie pour l’informatique en nuage et les systèmes d’exploitation qui alimentent la plupart des appareils mobiles, et nous en tirons tous des bénéfices grâce à des produits de qualité supérieure.
Je suis convaincu que l’intelligence artificielle (IA) évoluera de manière similaire. Actuellement, plusieurs entreprises technologiques développent des modèles propriétaires de pointe. Cependant, l’open source rattrape rapidement son retard. L’année dernière, Llama 2 n’était comparable qu’à une génération antérieure de modèles. Cette année, Llama 3 rivalise avec les modèles les plus avancés et excelle dans certains domaines. À partir de l’année prochaine, nous prévoyons que les futurs modèles Llama deviendront les plus avancés de l’industrie. Mais même avant cela, Llama se distingue déjà par son ouverture, sa modifiabilité et son efficacité économique.
Aujourd’hui, nous faisons un pas de plus vers l’établissement de l’IA open source comme norme de l’industrie. Nous lançons Llama 3.1 405B, le premier modèle d’IA open source de niveau avancé, ainsi que les nouveaux modèles améliorés Llama 3.1 70B et 8B. En plus d’offrir un rapport coût/performance nettement meilleur par rapport aux modèles propriétaires, le fait que le modèle 405B soit open source en fera le meilleur choix pour le fine-tuning et la distillation de modèles plus petits.
Au-delà de la sortie de ces modèles, nous collaborons avec diverses entreprises pour développer un écosystème plus large. Amazon, Databricks et NVIDIA lancent des suites complètes de services pour aider les développeurs à affiner et distiller leurs propres modèles. Des innovateurs comme Groq ont créé des services d’inférence à faible latence et à faible coût pour tous les nouveaux modèles. Ces modèles seront disponibles sur tous les principaux clouds, y compris AWS, Azure, Google, Oracle, et bien d’autres. Des entreprises comme Scale.AI, Dell, Deloitte et d’autres sont prêtes à aider les entreprises à adopter Llama et à former des modèles personnalisés avec leurs propres données. À mesure que la communauté grandit et que davantage d’entreprises développent de nouveaux services, nous pouvons collectivement faire de Llama la norme de l’industrie et apporter les avantages de l’IA à tous.
Meta s’engage en faveur de l’IA open source. Je vais expliquer pourquoi je pense que l’open source est la meilleure pile de développement pour vous, pourquoi l’open sourcing de Llama est bénéfique pour Meta, et pourquoi l’IA open source est bénéfique pour le monde, ce qui en fait une plateforme durable à long terme.
Les Avantages de l’IA Open Source pour les Développeurs
Lorsque je discute avec des développeurs, des PDG et des responsables gouvernementaux à travers le monde, plusieurs thèmes reviennent souvent :
- Nous devons former, affiner et distiller nos propres modèles. Chaque organisation a des besoins différents qui sont mieux satisfaits par des modèles de tailles variées, formés ou affinés avec leurs données spécifiques. Les tâches sur appareil et les tâches de classification nécessitent des modèles plus petits, tandis que les tâches plus complexes nécessitent des modèles plus grands. Vous pourrez désormais prendre les modèles Llama les plus avancés, continuer à les former avec vos propres données, puis les distiller en un modèle de taille optimale, sans que nous ou quiconque d’autre n’ait accès à vos données.
- Nous devons contrôler notre propre destin et ne pas être dépendants d’un fournisseur fermé. De nombreuses organisations ne souhaitent pas dépendre de modèles qu’elles ne peuvent pas exécuter et contrôler elles-mêmes. Elles ne veulent pas que les fournisseurs de modèles fermés puissent modifier leur modèle, changer leurs conditions d’utilisation, ou même cesser complètement de les servir. Elles ne veulent pas non plus être enfermées dans un cloud unique ayant des droits exclusifs sur un modèle. L’open source permet un large écosystème d’entreprises avec des chaînes d’outils compatibles, facilitant les transitions.
- Nous devons protéger nos données. De nombreuses organisations traitent des données sensibles qu’elles doivent sécuriser et qu’elles ne peuvent pas envoyer à des modèles fermés via des API cloud. D’autres organisations ne font tout simplement pas confiance aux fournisseurs de modèles fermés avec leurs données. L’open source répond à ces préoccupations en vous permettant d’exécuter les modèles où vous le souhaitez. Il est bien connu que les logiciels open source tendent à être plus sécurisés en raison de leur développement transparent.
- Nous avons besoin d’un modèle efficace et abordable à exécuter. Les développeurs peuvent exécuter des inférences sur Llama 3.1 405B sur leur propre infrastructure à environ 50 % du coût d’utilisation de modèles fermés comme GPT-4, tant pour les tâches d’inférence en ligne que hors ligne.
- Nous voulons investir dans l’écosystème qui sera la norme à long terme. Beaucoup de gens constatent que l’open source progresse plus rapidement que les modèles fermés, et ils souhaitent construire leurs systèmes sur l’architecture qui leur donnera le plus grand avantage à long terme.
Les Avantages de l’IA Open Source pour Meta
Le modèle commercial de Meta repose sur la création des meilleures expériences et services pour les utilisateurs. Pour cela, nous devons nous assurer d’avoir toujours accès à la meilleure technologie, sans être enfermés dans l’écosystème fermé d’un concurrent qui pourrait restreindre nos capacités de développement.
Une de mes expériences formatrices a été de construire nos services en étant contraints par ce qu’Apple nous permet de développer sur ses plateformes. Entre la manière dont ils taxent les développeurs, les règles arbitraires qu’ils appliquent, et toutes les innovations produits qu’ils bloquent, il est clair que Meta et de nombreuses autres entreprises pourraient offrir de bien meilleurs services si nous pouvions créer les meilleures versions de nos produits sans que nos concurrents ne puissent restreindre notre créativité. Sur un plan philosophique, c’est une des raisons majeures pour lesquelles je crois fermement en la construction d’écosystèmes ouverts dans l’IA et la réalité augmentée/virtuelle pour la prochaine génération de l’informatique.
On me demande souvent si je crains de perdre un avantage technique en open sourçant Llama, mais je pense que cela manque la perspective globale pour plusieurs raisons :
Premièrement, pour garantir que nous avons accès à la meilleure technologie et ne sommes pas enfermés dans un écosystème fermé à long terme, Llama doit évoluer en un écosystème complet d’outils, d’améliorations d’efficacité, d’optimisations de silicium et d’autres intégrations. Si nous étions la seule entreprise à utiliser Llama, cet écosystème ne se développerait pas et nous ne ferions pas mieux que les variantes fermées de Unix.
Deuxièmement, je m’attends à ce que le développement de l’IA reste très compétitif, ce qui signifie que l’open sourcing d’un modèle donné ne constitue pas un abandon d’un avantage considérable par rapport aux meilleurs modèles à ce moment-là. Le chemin pour que Llama devienne la norme de l’industrie passe par sa compétitivité, son efficacité et son ouverture génération après génération.
Troisièmement, une différence clé entre Meta et les fournisseurs de modèles fermés est que la vente d’accès aux modèles d’IA n’est pas notre modèle commercial. Cela signifie que la publication ouverte de Llama ne nuit pas à nos revenus, à notre durabilité ou à notre capacité à investir dans la recherche, contrairement aux fournisseurs fermés. (C’est une des raisons pour lesquelles plusieurs fournisseurs fermés font régulièrement pression sur les gouvernements contre l’open source.)
Enfin, Meta a une longue histoire de projets open source et de succès. Nous avons économisé des milliards de dollars en publiant nos conceptions de serveurs, de réseaux et de centres de données avec le projet Open Compute et en faisant standardiser nos conceptions par les chaînes d’approvisionnement. Nous avons bénéficié des innovations de l’écosystème en open sourçant des outils de pointe comme PyTorch, React, et bien d’autres. Cette approche a constamment fonctionné pour nous lorsque nous nous y tenons sur le long terme.
Les Avantages de l’IA Open Source pour le Monde
Je crois que l’open source est essentiel pour un avenir positif de l’IA. L’IA a un potentiel plus grand que toute autre technologie moderne pour accroître la productivité humaine, la créativité et la qualité de vie, tout en stimulant la croissance économique et en favorisant les avancées dans la recherche médicale et scientifique. L’open source garantira que davantage de personnes dans le monde aient accès aux avantages et aux opportunités de l’IA, que le pouvoir ne soit pas concentré entre les mains d’un petit nombre d’entreprises, et que la technologie puisse être déployée de manière plus équitable et sécurisée dans la société.
Il existe un débat en cours sur la sécurité des modèles d’IA open source, et je pense que l’IA open source sera plus sûre que les alternatives. Je pense que les gouvernements concluront qu’il est dans leur intérêt de soutenir l’open source, car cela rendra le monde plus prospère et plus sûr.
Mon cadre de compréhension de la sécurité repose sur la nécessité de se protéger contre deux catégories de dommages : les dommages non intentionnels et intentionnels. Les dommages non intentionnels se produisent lorsqu’un système d’IA peut causer des préjudices même si ce n’était pas l’intention de ceux qui l’exécutent. Par exemple, les modèles d’IA modernes peuvent donner par inadvertance de mauvais conseils en matière de santé. Ou, dans des scénarios plus futuristes, certains craignent que des modèles puissent s’auto-répliquer ou hyper-optimiser des objectifs au détriment de l’humanité. Les dommages intentionnels se produisent lorsqu’un acteur malveillant utilise un modèle d’IA dans le but de causer du tort.
Il convient de noter que les dommages non intentionnels couvrent la majorité des préoccupations des gens concernant l’IA, allant de l’influence que les systèmes d’IA auront sur les milliards de personnes qui les utiliseront aux scénarios catastrophiques de science-fiction pour l’humanité. À cet égard, l’open source devrait être significativement plus sûr, car les systèmes sont plus transparents et peuvent être largement examinés. Historiquement, les logiciels open source ont été plus sécurisés pour cette raison. De même, l’utilisation de Llama avec ses systèmes de sécurité comme Llama Guard sera probablement plus sûre et plus sécurisée que les modèles fermés. Pour cette raison, la plupart des discussions sur la sécurité de l’IA open source se concentrent sur les dommages intentionnels.
Notre processus de sécurité comprend des tests rigoureux et des simulations pour évaluer si nos modèles sont capables de causer des dommages significatifs, dans le but de réduire les risques avant leur publication. Étant donné que les modèles sont ouverts, tout le monde peut également tester par lui-même. Nous devons garder à l’esprit que ces modèles sont formés à partir d’informations déjà disponibles sur Internet, donc le point de départ pour considérer les dommages devrait être de savoir si un modèle peut faciliter plus de dommages que les informations qui peuvent être rapidement récupérées sur Google ou d’autres résultats de recherche.
Lorsqu’il s’agit de réfléchir aux dommages intentionnels, il est utile de faire la distinction entre ce que des acteurs individuels ou à petite échelle peuvent faire par rapport à ce que des acteurs à grande échelle, comme des États-nations disposant de vastes ressources, peuvent réaliser.
À un moment donné dans le futur, des acteurs malveillants individuels pourraient être en mesure d’utiliser l’intelligence des modèles d’IA pour créer de nouveaux préjudices à partir des informations disponibles sur Internet. À ce stade, l’équilibre des pouvoirs sera crucial pour la sécurité de l’IA. Je pense qu’il sera préférable de vivre dans un monde où l’IA est largement déployée afin que des acteurs plus importants puissent contrer le pouvoir de petits acteurs malveillants. C’est ainsi que nous avons géré la sécurité sur nos réseaux sociaux : nos systèmes d’IA plus robustes identifient et arrêtent les menaces provenant d’acteurs moins sophistiqués qui utilisent souvent des systèmes d’IA à plus petite échelle. Plus largement, des institutions plus grandes déployant l’IA à grande échelle favoriseront la sécurité et la stabilité dans la société. Tant que tout le monde a accès à des générations de modèles similaires, ce que l’open source promeut, alors les gouvernements et les institutions disposant de plus de ressources informatiques pourront contrer les acteurs malveillants avec moins de ressources.
La question suivante est de savoir comment les États-Unis et les nations démocratiques devraient gérer la menace d’États disposant de ressources massives comme la Chine. L’avantage des États-Unis réside dans l’innovation décentralisée et ouverte. Certaines personnes soutiennent que nous devons fermer nos modèles pour empêcher la Chine d’y accéder, mais je pense que cela ne fonctionnera pas et ne fera que désavantager les États-Unis et ses alliés. Nos adversaires sont très doués pour l’espionnage, voler des modèles qui tiennent sur une clé USB est relativement facile, et la plupart des entreprises technologiques ne fonctionnent pas de manière à rendre cela plus difficile. Il semble plus probable qu’un monde composé uniquement de modèles fermés aboutisse à un petit nombre de grandes entreprises, ainsi qu’à nos adversaires géopolitiques, ayant accès aux modèles de pointe, tandis que les startups, les universités et les petites entreprises manquent d’opportunités. De plus, restreindre l’innovation américaine à un développement fermé augmente le risque que nous ne soyons pas du tout en tête. Au lieu de cela, je pense que notre meilleure stratégie est de construire un écosystème ouvert robuste et de faire en sorte que nos entreprises leaders collaborent étroitement avec notre gouvernement et nos alliés pour s’assurer qu’ils peuvent tirer le meilleur parti des dernières avancées et obtenir un avantage durable à long terme.
Lorsque vous considérez les opportunités à venir, rappelez-vous que la plupart des entreprises technologiques et des recherches scientifiques de premier plan d’aujourd’hui reposent sur des logiciels open source. La prochaine génération d’entreprises et de recherches utilisera l’IA open source si nous investissons collectivement dans celle-ci. Cela inclut les startups qui viennent de se lancer ainsi que les personnes dans les universités et les pays qui n’ont peut-être pas les ressources pour développer leur propre IA de pointe à partir de zéro.
En fin de compte, l’IA open source représente la meilleure chance du monde de tirer parti de cette technologie pour créer les plus grandes opportunités économiques et de sécurité pour tous.
Construisons Cela Ensemble
Avec les modèles Llama précédents, Meta les a développés pour nous-mêmes avant de les publier, mais nous ne nous sommes pas beaucoup concentrés sur la construction d’un écosystème plus large. Nous adoptons une approche différente avec cette sortie. Nous constituons des équipes en interne pour permettre à autant de développeurs et de partenaires que possible d’utiliser Llama, et nous établissons activement des partenariats afin que davantage d’entreprises de l’écosystème puissent offrir des fonctionnalités uniques à leurs clients également.
Je crois que la sortie de Llama 3.1 marquera un tournant dans l’industrie où la plupart des développeurs commenceront à utiliser principalement l’open source, et je m’attends à ce que cette approche ne fasse que croître à partir de là. J’espère que vous vous joindrez à nous dans ce voyage pour apporter les avantages de l’IA à tous dans le monde.
Vous pouvez accéder aux modèles dès maintenant sur llama.meta.com.
💪,
MZ
