Sur Twitter, l’équipe d’IA de Tesla partage ses projets de modèles fondamentaux pour les robots autonomes, tels que le Tesla Bot.
L’objectif de Tesla avec le Tesla Bot est de créer un robot humanoïde bipède universel et autonome capable d’effectuer des tâches dangereuses, répétitives ou fastidieuses. Comme pour d’autres projets de robotique, Tesla espère atteindre cet objectif en utilisant des modèles fondamentaux pour les robots autonomes.
Ces modèles sont entraînés sur de grandes quantités de données, et leurs capacités générales constituent la base d’applications spécialisées. Dans le domaine de la linguistique informatique, GPT-4 est un exemple de ce type de modèle.
Tesla s’appuie sur l’utilisation de grandes quantités de données (y compris des vidéos)
Pour les modèles robotiques, Tesla prévoit de s’appuyer sur des réseaux neuronaux multimodaux déjà utilisés dans les véhicules autonomes de Tesla. Ces réseaux traitent de multiples modalités telles que la vidéo de la caméra, les cartes, la navigation, l’IMU (unité de mesure inertielle) ou le GPS pour prédire s’il y a des véhicules, des cyclistes, des personnes ou d’autres objets sur le chemin.
Selon l’équipe d’IA de Tesla, ces réseaux peuvent également être utilisés pour éviter les collisions avec n’importe quel robot. Toutes les données de l’ensemble de la flotte sont également utilisées pour reconstituer des tronçons de route sur lesquels l’IA peut être entraînée. En outre, l’équipe développe des modèles génératifs qui peuvent, par exemple, produire de nouveaux clips vidéo courts dans lesquels le véhicule se comporte différemment en fonction de diverses données du monde réel.
Cela permet d’augmenter la quantité de données disponibles, une condition essentielle pour les modèles fondamentaux. Un court clip montre également comment un Tesla Bot ou un système similaire collecte des données dans les bureaux.
Des modèles vidéo fondamentaux comme « cerveau » du robot Optimus
Ensemble, ils créeront des modèles vidéo fondamentaux qui constitueront le « cerveau » des voitures et des robots. Google expérimente également de tels modèles fondamentaux pour les robots et a montré qu’ils pouvaient être utilisés pour construire de meilleurs robots avec son transformateur multimodal Robotic Transformer.
Tesla dispose d’un avantage certain en matière de données, du moins dans le domaine de la conduite autonome, et pourrait également collecter les données nécessaires à l’élaboration de modèles fondamentaux de robots avec le robot Optimus dont la production en série est prévue.
Tesla is building the foundation models for autonomous robots pic.twitter.com/VUES9jU3ze
— Tesla AI (@Tesla_AI) June 21, 2023
Pour cela, il faut une puissance de calcul, et Tesla prévoit de faire en sorte que son propre superordinateur Dojo atteigne 100 exaflops d’ici octobre 2024, l’équivalent d’environ 400 000 GPU Nvidia A100. La vision intéressante de leurs plans, cependant, vise principalement à recruter les experts que Tesla recherche désespérément.
