Technologie
29 juillet 2024, 13h30
Nvidia » />
Crédit image : Nvidia
Pour stimuler le développement des robots humanoïdes à l’échelle mondiale, Nvidia a annoncé qu’elle offrirait de nouveaux services aux principaux fabricants de robots. L’entreprise soutient également les développeurs de modèles d’IA et les créateurs de logiciels avec une gamme de services, de modèles et de plateformes informatiques pour concevoir, former et construire la prochaine génération de robotique humanoïde.
Parmi les nouvelles offres figurent les microservices et les frameworks Nvidia NIM pour la simulation et l’apprentissage des robots, le service d’orchestration Nvidia Osmo pour exécuter des charges de travail robotiques multi-étapes, ainsi qu’un flux de travail de téléopération assisté par IA et simulation qui permet aux développeurs de former des robots en utilisant de petites quantités de données de démonstration humaine.
Ces annonces ont été faites lors de la conférence Siggraph sur les graphiques informatiques à Denver, Colorado, par Jensen Huang, PDG de Nvidia. « La prochaine vague de l’IA est la robotique, et l’un des développements les plus passionnants est celui des robots humanoïdes », a déclaré Jensen Huang. « Nous faisons progresser l’ensemble de la pile robotique Nvidia, ouvrant l’accès aux développeurs et entreprises de robots humanoïdes du monde entier pour utiliser les plateformes, les bibliothèques d’accélération et les modèles d’IA les mieux adaptés à leurs besoins. »
Accélérer le développement avec Nvidia NIM et Osmo
Les microservices NIM fournissent des conteneurs préconstruits, alimentés par le logiciel d’inférence Nvidia, permettant aux développeurs de réduire les délais de déploiement de plusieurs semaines à quelques minutes. Deux nouveaux microservices d’IA permettront aux roboticiens d’améliorer les flux de travail de simulation pour l’IA physique générative dans Nvidia Isaac Sim, une application de référence pour la simulation robotique construite sur la plateforme Omniverse de Nvidia.
Le microservice MimicGen NIM génère des données de mouvement synthétiques basées sur des données téléopérées enregistrées à partir de dispositifs de calcul spatial tels que l’Apple Vision Pro. Le microservice Robocasa NIM génère des tâches pour les robots et des environnements prêts pour la simulation dans OpenUSD, un cadre universel pour le développement et la collaboration dans des mondes 3D.
Nvidia Osmo, disponible dès maintenant, est un service géré natif du cloud qui permet aux utilisateurs d’orchestrer et de mettre à l’échelle des flux de travail complexes de développement robotique à travers des ressources informatiques distribuées, que ce soit sur site ou dans le cloud. Osmo simplifie les flux de travail de formation et de simulation des robots, réduisant les délais de déploiement et de développement de plusieurs mois à moins d’une semaine. Les utilisateurs peuvent visualiser et gérer une gamme de tâches, telles que la génération de données synthétiques, la formation de modèles, l’apprentissage par renforcement et la mise en œuvre de tests logiciels à grande échelle pour les humanoïdes, les robots mobiles autonomes et les manipulateurs industriels.
Améliorer les flux de capture de données pour les développeurs de robots humanoïdes
La formation de modèles fondamentaux pour les robots humanoïdes nécessite une quantité incroyable de données. L’une des méthodes pour capturer des données de démonstration humaine est l’utilisation de la téléopération, mais cela devient un processus de plus en plus coûteux et long.
Un flux de travail de téléopération assisté par IA et Omniverse, démontré lors de la conférence SIGGRAPH, permet aux chercheurs et aux développeurs d’IA de générer d’énormes quantités de données de mouvement et de perception synthétiques à partir d’une quantité minimale de démonstrations humaines capturées à distance.
Tout d’abord, les développeurs utilisent l’Apple Vision Pro pour capturer un petit nombre de démonstrations téléopérées. Ensuite, ils simulent les enregistrements dans Nvidia Isaac Sim et utilisent le microservice MimicGen NIM pour générer des ensembles de données synthétiques à partir des enregistrements. Les développeurs forment le modèle fondamental humanoïde Project GR00T avec des données réelles et synthétiques, ce qui leur permet de gagner du temps et de réduire les coûts. Ils utilisent ensuite le microservice Robocasa NIM dans Isaac Lab, un cadre pour l’apprentissage des robots, pour générer des expériences afin de réentraîner le modèle robotique. Tout au long du flux de travail, Nvidia Osmo assigne de manière transparente des tâches informatiques à différentes ressources, économisant ainsi aux développeurs des semaines de tâches administratives.
La société Fourier, spécialisée dans les plateformes robotiques polyvalentes, constate les avantages de l’utilisation de la technologie de simulation pour générer synthétiquement des données d’entraînement. « Développer des robots humanoïdes est extrêmement complexe, nécessitant une quantité incroyable de données réelles, capturées de manière fastidieuse dans le monde réel », a déclaré Alex Gu, PDG de Fourier. « Les nouveaux outils de simulation et d’IA générative de Nvidia aideront à initier et à accélérer nos flux de travail de développement de modèles. »
Élargir l’accès aux technologies de développement humanoïde de Nvidia
Nvidia propose trois plateformes informatiques pour faciliter le développement de la robotique humanoïde : des superordinateurs d’IA Nvidia pour former les modèles ; Nvidia Isaac Sim, construit sur Omniverse, où les robots peuvent apprendre et perfectionner leurs compétences dans des mondes simulés ; et les ordinateurs de robots humanoïdes Nvidia Jetson Thor pour exécuter les modèles. Les développeurs peuvent accéder et utiliser l’ensemble ou une partie de ces plateformes selon leurs besoins spécifiques.
Grâce à un nouveau programme de développement de robots humanoïdes Nvidia, les développeurs peuvent bénéficier d’un accès anticipé aux nouvelles offres ainsi qu’aux dernières versions de Nvidia Isaac Sim, Nvidia Isaac Lab, Jetson Thor et des modèles fondamentaux humanoïdes Project GR00T.
Des entreprises telles que 1x, Boston Dynamics, ByteDance Research, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra et Skild AI font partie des premières à rejoindre ce programme d’accès anticipé. « Boston Dynamics et Nvidia ont une longue histoire de collaboration étroite pour repousser les limites de ce qui est possible en robotique », a déclaré Aaron Saunders, directeur technique de Boston Dynamics. « Nous sommes vraiment impatients de voir les fruits de ce travail accélérer l’industrie dans son ensemble, et le programme d’accès anticipé est un excellent moyen d’accéder à une technologie de pointe. »
Disponibilité
Les développeurs peuvent dès à présent rejoindre le programme de développement de robots humanoïdes de Nvidia pour accéder à Nvidia OSMO et Isaac Lab, et auront bientôt accès aux microservices Nvidia NIM.
