Depuis plusieurs années, Elon Musk évoque Dojo, le superordinateur d’IA qui sera au cœur des ambitions de Tesla en matière d’intelligence artificielle. Son importance est telle que Musk a récemment déclaré que l’équipe d’IA de l’entreprise allait « redoubler d’efforts » sur Dojo alors que Tesla se prépare à dévoiler son robotaxi en octobre.

Mais qu’est-ce que Dojo exactement ? Et pourquoi est-il si crucial pour la stratégie à long terme de Tesla ?

En résumé : Dojo est le superordinateur sur mesure de Tesla, conçu pour entraîner ses réseaux neuronaux de « Conduite Autonome Complète » (FSD). Renforcer Dojo s’inscrit dans l’objectif de Tesla d’atteindre une conduite entièrement autonome et de commercialiser un robotaxi. Le FSD, qui est installé sur environ 2 millions de véhicules Tesla aujourd’hui, peut réaliser certaines tâches de conduite automatisée, mais nécessite encore qu’un humain reste attentif au volant.

Tesla a reporté la présentation de son robotaxi, initialement prévue pour août, à octobre, mais tant le discours public de Musk que les informations provenant de sources internes à Tesla indiquent que l’objectif d’autonomie reste intact.

De plus, Tesla semble prêt à investir massivement dans l’IA et Dojo pour atteindre cet objectif.

Origines de Dojo chez Tesla

Musk ne souhaite pas que Tesla soit simplement un constructeur automobile, ni même un fournisseur de panneaux solaires et de systèmes de stockage d’énergie. Il aspire à faire de Tesla une entreprise d’IA, capable de percer le secret des voitures autonomes en imitant la perception humaine.

La plupart des autres entreprises développant des technologies de véhicules autonomes s’appuient sur une combinaison de capteurs pour percevoir le monde, tels que le lidar, le radar et les caméras, ainsi que sur des cartes haute définition pour localiser le véhicule. En revanche, Tesla pense pouvoir atteindre une conduite entièrement autonome en se basant uniquement sur des caméras pour capturer des données visuelles, puis en utilisant des réseaux neuronaux avancés pour traiter ces données et prendre des décisions rapides sur le comportement de la voiture.

Comme l’a déclaré Andrej Karpathy, ancien responsable de l’IA chez Tesla, lors du premier AI Day de l’entreprise en 2021, la société tente essentiellement de construire « un animal synthétique de A à Z ». (Musk avait commencé à évoquer Dojo depuis 2019, mais Tesla l’a officiellement annoncé lors de l’AI Day.)

Des entreprises comme Waymo, filiale d’Alphabet, ont commercialisé des véhicules autonomes de niveau 4, définis par la SAE comme des systèmes capables de conduire sans intervention humaine dans certaines conditions, en adoptant une approche plus traditionnelle basée sur des capteurs et l’apprentissage automatique. Tesla n’a pas encore produit de système autonome ne nécessitant pas un humain au volant.

Environ 1,8 million de personnes ont payé le prix élevé de l’abonnement pour le FSD de Tesla, qui coûte actuellement 8 000 dollars et a été proposé jusqu’à 15 000 dollars. L’argument est que le logiciel d’IA entraîné par Dojo sera finalement déployé auprès des clients de Tesla via des mises à jour à distance. L’ampleur du FSD signifie également que Tesla a pu accumuler des millions de kilomètres de séquences vidéo qu’elle utilise pour entraîner le FSD. L’idée est que plus Tesla peut collecter de données, plus elle se rapproche de l’atteinte de la conduite entièrement autonome.

Cependant, certains experts de l’industrie estiment qu’il pourrait y avoir une limite à l’approche brute consistant à accumuler davantage de données et à s’attendre à ce que le modèle devienne plus intelligent.

« Tout d’abord, il y a une contrainte économique, et bientôt cela deviendra trop coûteux », a déclaré Anand Raghunathan, professeur d’ingénierie électrique et informatique à l’Université Purdue, à TechCrunch. De plus, il a ajouté : « Certaines personnes affirment que nous pourrions en fait manquer de données significatives pour entraîner les modèles. Plus de données ne signifie pas nécessairement plus d’informations, donc cela dépend de la pertinence des données pour créer un meilleur modèle, et si le processus d’entraînement peut réellement distiller ces informations en un meilleur modèle. »

Raghunathan a indiqué qu’en dépit de ces doutes, la tendance à accumuler plus de données semble être là pour le court terme. Et plus de données signifie plus de puissance de calcul nécessaire pour stocker et traiter toutes ces informations afin d’entraîner les modèles d’IA de Tesla. C’est là qu’intervient Dojo, le superordinateur.

Qu’est-ce qu’un superordinateur ?

Dojo est le système de superordinateur de Tesla, conçu pour servir de terrain d’entraînement pour l’IA, en particulier pour le FSD. Le nom fait référence à l’espace où se pratiquent les arts martiaux.

Un superordinateur est constitué de milliers de petits ordinateurs appelés nœuds. Chacun de ces nœuds possède son propre CPU (unité centrale de traitement) et GPU (unité de traitement graphique). Le premier gère la gestion globale du nœud, tandis que le second s’occupe des tâches complexes, comme le fractionnement des tâches en plusieurs parties et leur traitement simultané. Les GPU sont essentiels pour les opérations d’apprentissage automatique, comme celles qui alimentent l’entraînement du FSD en simulation. Ils alimentent également de grands modèles de langage, ce qui explique pourquoi la montée de l’IA générative a propulsé Nvidia au rang de la société la plus précieuse au monde.

Tesla achète même des GPU Nvidia pour entraîner son IA.

Pourquoi Tesla a-t-elle besoin d’un superordinateur ?

L’approche axée sur la vision de Tesla est la principale raison pour laquelle l’entreprise a besoin d’un superordinateur. Les réseaux neuronaux derrière le FSD sont entraînés sur d’énormes quantités de données de conduite pour reconnaître et classer les objets autour du véhicule, puis prendre des décisions de conduite. Cela signifie que lorsque le FSD est activé, les réseaux neuronaux doivent collecter et traiter des données visuelles en continu à des vitesses correspondant aux capacités de reconnaissance de profondeur et de vitesse d’un humain.

En d’autres termes, Tesla vise à créer un duplicata numérique du cortex visuel humain et de ses fonctions cérébrales.

Pour y parvenir, Tesla doit stocker et traiter toutes les données vidéo collectées par ses voitures à travers le monde et exécuter des millions de simulations pour entraîner son modèle sur ces données.

Tesla semble s’appuyer sur Nvidia pour alimenter son ordinateur d’entraînement Dojo actuel, mais elle ne veut pas mettre tous ses œufs dans le même panier, d’autant plus que les puces Nvidia sont coûteuses. Tesla espère également créer quelque chose de meilleur qui augmente la bande passante et réduit les latences. C’est pourquoi la division IA de l’automobile a décidé de développer son propre programme matériel sur mesure visant à entraîner les modèles d’IA plus efficacement que les systèmes traditionnels.

Au cœur de ce programme se trouvent les puces D1 propriétaires de Tesla, que l’entreprise affirme être optimisées pour les charges de travail d’IA.

Parlez-moi davantage de ces puces

Tesla partage une vision similaire à celle d’Apple, en considérant que le matériel et le logiciel doivent être conçus pour fonctionner en harmonie. C’est pourquoi l’entreprise s’efforce de se détourner des GPU standards pour développer ses propres puces destinées à alimenter Dojo.

Lors de la journée de l’IA en 2021, Tesla a présenté sa puce D1, un carré de silicium de la taille d’une paume. La production de la D1 a débuté au moins en mai de cette année. La Taiwan Semiconductor Manufacturing Company (TSMC) fabrique ces puces en utilisant des nœuds semi-conducteurs de 7 nanomètres. Selon Tesla, la D1 contient 50 milliards de transistors et a une taille de die de 645 millimètres carrés. Cela signifie que la D1 promet d’être extrêmement puissante et efficace, capable de traiter des tâches complexes rapidement.

« Nous pouvons effectuer des calculs et des transferts de données simultanément, et notre ISA personnalisée, qui est l’architecture de jeu d’instructions, est entièrement optimisée pour les charges de travail d’apprentissage automatique », a déclaré Ganesh Venkataramanan, ancien directeur senior du matériel Autopilot, lors de la journée de l’IA de Tesla en 2021. « C’est une machine purement dédiée à l’apprentissage automatique. »

Cependant, la D1 n’égale pas encore la puissance de la puce A100 de Nvidia, également fabriquée par TSMC avec un processus de 7 nanomètres. L’A100 contient 54 milliards de transistors et a une taille de die de 826 millimètres carrés, ce qui lui confère une performance légèrement supérieure à celle de la D1 de Tesla.

Pour obtenir une bande passante plus élevée et une puissance de calcul accrue, l’équipe d’IA de Tesla a fusionné 25 puces D1 en un seul module, fonctionnant comme un système informatique unifié. Chaque module offre une puissance de calcul de 9 pétaflops et une bande passante de 36 téraoctets par seconde, tout en intégrant le matériel nécessaire pour l’alimentation, le refroidissement et le transfert de données. On peut considérer ce module comme un ordinateur autonome composé de 25 ordinateurs plus petits. Six de ces modules forment un rack, et deux racks constituent une armoire. Dix armoires forment un ExaPOD. Lors de la journée de l’IA 2022, Tesla a annoncé que Dojo se développerait en déployant plusieurs ExaPODs. L’ensemble constitue un superordinateur.

Tesla travaille également sur une puce D2 de nouvelle génération, visant à résoudre les goulets d’étranglement dans le flux d’informations. Au lieu de relier les puces individuelles, la D2 intégrerait l’ensemble du module Dojo sur une seule plaquette de silicium.

La société n’a pas confirmé combien de puces D1 elle a commandées ou s’attend à recevoir. De plus, aucun calendrier n’a été fourni concernant le temps nécessaire pour faire fonctionner les superordinateurs Dojo avec les puces D1.

En réponse à un post de juin sur X affirmant : « Elon construit un énorme refroidisseur de GPU au Texas », Musk a indiqué que Tesla visait un équilibre de « moitié matériel AI Tesla, moitié Nvidia/autres » au cours des 18 mois à venir. Le « autre » pourrait inclure des puces AMD, selon les commentaires de Musk en janvier.

Quelle est l’importance de Dojo pour Tesla ?

Prendre le contrôle de sa propre production de puces pourrait permettre à Tesla d’ajouter rapidement de grandes quantités de puissance de calcul à ses programmes de formation en IA à un coût réduit, surtout à mesure que Tesla et TSMC augmentent leur production de puces.

Cela signifie également que Tesla pourrait ne plus avoir à dépendre des puces de Nvidia à l’avenir, qui deviennent de plus en plus coûteuses et difficiles à obtenir.

Lors de l’appel de résultats du deuxième trimestre de Tesla, Musk a déclaré que la demande pour le matériel Nvidia était « si élevée qu’il est souvent difficile d’obtenir les GPU ». Il a exprimé ses inquiétudes quant à la capacité d’obtenir des GPU de manière régulière, ce qui nécessite de concentrer davantage d’efforts sur Dojo pour garantir la capacité d’entraînement nécessaire.

Cependant, Tesla continue d’acheter des puces Nvidia pour entraîner son IA. En juin, Musk a posté sur X : « Sur les 10 milliards de dollars de dépenses liées à l’IA que j’ai mentionnées pour cette année, environ la moitié est interne, principalement pour l’ordinateur d’inférence AI conçu par Tesla et les capteurs présents dans toutes nos voitures, ainsi que Dojo. Pour construire les superclusters d’entraînement AI, le matériel Nvidia représente environ les deux tiers du coût. Mon estimation actuelle des achats de Nvidia par Tesla pour cette année est de 3 à 4 milliards de dollars. »

Le calcul d’inférence fait référence aux calculs d’IA effectués par les voitures Tesla en temps réel, distincts des calculs d’entraînement dont Dojo est responsable.

Dojo représente un pari risqué, que Musk a plusieurs fois tempéré en affirmant que Tesla pourrait ne pas réussir.

À long terme, Tesla pourrait théoriquement créer un nouveau modèle économique basé sur sa division IA. Musk a déclaré que la première version de Dojo serait adaptée à l’étiquetage et à l’entraînement de la vision par ordinateur de Tesla, ce qui est bénéfique pour la conduite autonome et pour l’entraînement d’Optimus, le robot humanoïde de Tesla. Cependant, cela ne serait pas utile pour beaucoup d’autres applications.

Musk a mentionné que les versions futures de Dojo seraient davantage orientées vers l’entraînement d’IA à usage général. Un problème potentiel est que presque tous les logiciels d’IA existants ont été écrits pour fonctionner avec des GPU. Utiliser Dojo pour entraîner des modèles d’IA à usage général nécessiterait de réécrire le logiciel.

À moins que Tesla ne loue sa puissance de calcul, à l’instar d’AWS et d’Azure qui proposent des capacités de cloud computing. Musk a également noté lors des résultats du deuxième trimestre qu’il voit « un chemin pour être compétitif avec Nvidia grâce à Dojo ».

Un rapport de Morgan Stanley de septembre 2023 a prédit que Dojo pourrait ajouter 500 milliards de dollars à la valeur marchande de Tesla en débloquant de nouvelles sources de revenus sous forme de robotaxis et de services logiciels.

les puces de Dojo représentent une assurance pour le constructeur automobile, mais une assurance qui pourrait rapporter gros.

Quel est l’état d’avancement de Dojo ?

Jose, Californie.

Selon des informations rapportées par Reuters l’année dernière, Tesla a lancé la production de Dojo en juillet 2023. Cependant, un message de Musk datant de juin 2023 indiquait que Dojo était déjà « en ligne et réalisait des tâches utiles depuis quelques mois ».

À cette même période, Tesla a annoncé s’attendre à ce que Dojo figure parmi les cinq superordinateurs les plus puissants d’ici février 2024, un objectif qui n’a pas encore été confirmé publiquement, ce qui suscite des doutes quant à sa réalisation.

La société a également prévu que la capacité de calcul totale de Dojo atteigne 100 exaflops d’ici octobre 2024. (1 exaflop équivaut à 1 quintillion d’opérations informatiques par seconde. Pour atteindre 100 exaflops, en supposant qu’un D1 puisse réaliser 362 téraflops, Tesla aurait besoin de plus de 276 000 D1, ou environ 320 500 GPU Nvidia A100.)

En janvier 2024, Tesla a annoncé un investissement de 500 millions de dollars pour construire un superordinateur Dojo dans sa gigafactory à Buffalo, New York.

En mai 2024, Musk a mentionné que la partie arrière de la gigafactory de Tesla à Austin serait réservée à un « cluster de superordinateurs à refroidissement par eau, très dense ».

Peu après l’appel de résultats du deuxième trimestre de Tesla, Musk a publié sur X que l’équipe d’IA de l’entreprise utilise l’ordinateur AI HW4 de Tesla (rebaptisé AI4), qui est le matériel intégré dans les véhicules Tesla, dans le cadre de la boucle d’entraînement avec des GPU Nvidia. Il a précisé que la répartition est d’environ 90 000 Nvidia H100 et 40 000 ordinateurs AI4.

« Et Dojo 1 disposera d’environ 8 000 équivalents H100 de formation en ligne d’ici la fin de l’année », a-t-il ajouté. « Ce n’est pas énorme, mais ce n’est pas négligeable non plus. »