Ce mois-ci, le Wall Street Journal a révélé qu’un tiers des centrales nucléaires sont en pourparlers avec des entreprises technologiques pour alimenter leurs nouveaux centres de données. Parallèlement, Goldman Sachs a estimé que l’intelligence artificielle entraînera une augmentation de 160 % de la consommation d’énergie des centres de données d’ici 2030. Cela pourrait faire grimper les émissions de dioxyde de carbone à plus de deux fois les niveaux actuels. Chaque requête ChatGPT nécessiterait environ dix fois plus d’énergie qu’une recherche sur Google. La question se pose : la hausse exponentielle des coûts de formation des modèles d’IA limitera-t-elle finalement leur potentiel ?

Lors de la conférence VB Transform 2024, ce sujet a été abordé lors d’un panel dirigé par Hyunjun Park, co-fondateur et PDG de CATALOG. Pour discuter de l’ampleur du problème et des solutions possibles, Park a invité sur scène le Dr Jamie Garcia, directrice des algorithmes quantiques et des partenariats chez IBM ; Paul Roberts, directeur des comptes stratégiques chez AWS ; et Kirk Bresniker, architecte en chef chez Hewlett Packard Labs, ainsi qu’un HPE Fellow et VP.

Ressources non durables et technologie inéquitable

« L’échéance de 2030 est suffisamment éloignée pour que nous puissions apporter des corrections de cap, mais elle est aussi suffisamment proche pour que nous devions considérer les conséquences de nos actions actuelles », a déclaré Bresniker.

Entre 2029 et 2031, le coût des ressources nécessaires pour former un seul modèle, une seule fois, dépassera le PIB des États-Unis, a-t-il ajouté, et dépassera les dépenses mondiales en informatique d’ici 2030. Nous nous dirigeons donc vers un plafond difficile, et il est temps de prendre des décisions, non seulement parce que les coûts deviendront insoutenables.

« La question de la durabilité est intrinsèquement liée à celle de l’équité », a-t-il expliqué. « Si quelque chose est prouvé comme étant non durable, alors il est fondamentalement inéquitable. En cherchant à garantir un accès universel à cette technologie incroyable, nous devons nous interroger sur ce que nous pouvons changer. Y a-t-il des aspects de cette technologie qui doivent être profondément modifiés pour la rendre accessible à tous ? »

La responsabilité des entreprises

Certaines entreprises prennent des mesures pour faire face à cette catastrophe environnementale imminente tout en cherchant à atténuer la crise financière qui se profile. Du côté de l’empreinte carbone, AWS s’engage sur la voie d’une utilisation plus responsable et durable, ce qui inclut l’implémentation des récentes solutions de refroidissement liquide de Nvidia, entre autres.

« Nous examinons des améliorations en acier et en béton pour réduire notre consommation de carbone », a expliqué Roberts. « De plus, nous explorons des carburants alternatifs. Au lieu de nous en tenir aux carburants diesel traditionnels pour nos générateurs, nous envisageons l’huile végétale hydro et d’autres sources alternatives. »

Ils poussent également l’utilisation de puces alternatives. Par exemple, ils ont lancé leur propre silicium, Trainium, qui peut être beaucoup plus efficace que d’autres options. Pour réduire les coûts d’inférence, ils ont annoncé Inferentia, qui, selon lui, offre une amélioration de performance par watt de plus de 50 % par rapport aux options existantes.

Le réseau ultra-cluster de deuxième génération de l’entreprise, qui aide à la formation et à la pré-formation, prend en charge jusqu’à 20 000 GPU et offre environ 10 pétaoctets par seconde de débit réseau avec une latence inférieure à 10 microsecondes, réduisant ainsi la latence globale de 25 %. Le résultat final : former plus de modèles plus rapidement et à moindre coût.

L’informatique quantique peut-elle changer l’avenir ?

Le travail de Garcia se concentre sur les interactions entre l’informatique quantique et l’IA, et les résultats sont prometteurs. L’informatique quantique offre des économies de ressources et des avantages en termes de vitesse. L’apprentissage automatique quantique peut être utilisé pour l’IA de trois manières, a déclaré Garcia : modèles quantiques sur des données classiques, modèles quantiques sur des données quantiques et modèles classiques sur des données quantiques.

« Il existe des preuves théoriques dans chacune de ces catégories montrant qu’il y a un avantage à utiliser des ordinateurs quantiques pour aborder ces domaines », a déclaré Garcia. « Par exemple, si vous disposez de données d’entraînement limitées ou très éparses, ou de données très interconnectées. Un domaine prometteur dans cet espace est l’application dans le secteur de la santé et des sciences de la vie. Tout ce qui implique des éléments de nature quantique à traiter. »

IBM explore activement le potentiel immense de l’apprentissage automatique quantique. L’entreprise a déjà de nombreuses applications dans les sciences de la vie, les applications industrielles, la science des matériaux, et plus encore. Les chercheurs d’IBM développent également Watson Code Assist, qui aide les utilisateurs peu familiers avec l’informatique quantique à tirer parti d’un ordinateur quantique pour leurs applications.

« Nous utilisons l’IA pour aider à cela et permettre aux gens d’optimiser les circuits, de définir leur problème de manière à ce qu’il soit compréhensible pour l’ordinateur quantique », a-t-elle expliqué.

La solution, a-t-elle ajouté, sera une combinaison de bits, de neurones et de cubits.

« Cela impliquera des CPU, des GPU et des QP travaillant ensemble et différenciant les différentes parties du flux de travail », a-t-elle déclaré. « Nous devons faire progresser la technologie quantique pour atteindre un point où nous pouvons exécuter les circuits dont nous parlons, où nous pensons que nous allons obtenir ce type d’accélération exponentielle, une accélération polynomiale. Mais le potentiel des algorithmes est vraiment prometteur pour nous. »

Cependant, les exigences en matière d’infrastructure pour le quantique représentent un obstacle avant que cette technologie ne devienne la solution tant attendue. Cela inclut la réduction de la consommation d’énergie et l’amélioration de l’ingénierie des composants.

« Il reste beaucoup de recherches en physique à réaliser pour concrétiser les exigences d’infrastructure pour le quantique », a-t-elle expliqué. « Pour moi, c’est le véritable défi que je vois pour réaliser cette vision d’une collaboration harmonieuse entre les trois pour résoudre des problèmes de manière la plus efficace en termes de ressources. »

Choix et plafond difficile

« Plus important que tout le reste est la transparence radicale, pour donner aux décideurs une compréhension approfondie, tout au long de la chaîne d’approvisionnement, des caractéristiques de durabilité, d’énergie, de confidentialité et de sécurité de toutes ces technologies que nous utilisons, afin que nous puissions comprendre le véritable coût », a déclaré Bresniker. « Cela nous permet de calculer le véritable retour sur ces investissements. Actuellement, nous avons des experts en la matière qui parlent aux entreprises de l’adoption, mais ils ne listent pas nécessairement les besoins pour intégrer ces technologies de manière réussie, durable et équitable. »

Et une partie de cela dépend du choix, a déclaré Roberts. Le train est déjà en marche, et de plus en plus d’organisations utiliseront des LLM et de l’IA générative. Il existe une opportunité de choisir les caractéristiques de performance qui conviennent le mieux à l’application, plutôt que de consommer des ressources de manière indiscriminée.

« D’un point de vue de durabilité et d’énergie, il est essentiel de réfléchir à l’utilisation que je souhaite réaliser avec cette application et ce modèle, puis à quel silicium je vais utiliser pour réaliser cette inférence », a-t-il déclaré.

Vous pouvez également choisir l’hôte, ainsi que des applications et des outils spécifiques qui abstraient le cas d’utilisation sous-jacent.

« La raison pour laquelle cela est important, c’est que cela vous donne le choix, cela vous donne beaucoup de contrôle, et vous pouvez choisir ce qui est le plus rentable et le plus optimal pour le déploiement de votre application », a-t-il ajouté.

« Si vous ajoutez plus de données, plus d’énergie, plus d’eau et plus de personnes, cela donnera un modèle plus grand, mais est-ce réellement meilleur pour l’entreprise ? C’est la véritable question concernant la viabilité de l’entreprise », a ajouté Bresniker. « Nous atteindrons un plafond difficile si nous continuons ainsi. En entamant cette conversation, il est essentiel d’avoir cette compréhension et de commencer à demander plus de transparence. Je veux savoir d’où provient cette donnée. Quelle est la consommation d’énergie de ce modèle ? Existe-t-il une alternative ? Peut-être que plusieurs petits modèles sont meilleurs qu’une monoculture monolithique. Même avant d’atteindre le plafond, nous devrons faire face à la monoculture. »