Une nouvelle puce d’IA de Meta a été conçue pour accélérer l’exécution des réseaux neuronaux, et un superordinateur amélioré a été conçu pour accélérer les recherches de l’entreprise en matière d’IA.
Le « Meta Training and Inference Accelerator » (MTIA) est une nouvelle famille de puces conçues pour accélérer et réduire les performances de traitement des réseaux neuronaux, appelées inférence. La puce devrait être utilisée d’ici 2025. Pour l’instant, Meta s’appuie toujours sur les cartes graphiques Nvidia dans ses centres de données.
À l’instar des Tensor Processing Units (TPU) de Google, MTIA est un circuit intégré spécifique à une application (ASIC) optimisé pour la multiplication des matrices et les fonctions d’activation présentes dans les réseaux neuronaux. Selon Meta, la puce peut traiter des modèles d’IA de complexité faible et moyenne mieux qu’un GPU.
Avec Trainium et Inferentia, Amazon offre également l’accès à des puces d’IA pour l’entraînement et l’exécution dans le nuage. Microsoft travaille en partenariat avec AMD pour développer des puces d’IA.
SuperCluster de recherche : le supercalculateur d’IA RSC de Meta entre dans sa deuxième phase
En janvier 2022, Meta a présenté le supercalculateur d’IA RSC qui, à l’époque, était censé constituer la base de Metaverse. Une fois entièrement développé, il devrait être le supercalculateur le plus rapide spécialisé dans les calculs d’IA. L’entreprise construit cette infrastructure depuis 2020.
Selon Meta, le RSC a maintenant atteint sa deuxième phase, avec 2 000 unités Nvidia DGX A100 et 16 000 GPU Nvidia A100. La performance maximale, selon Meta, est de cinq exaflops. Le RSC sera utilisé pour la recherche en IA dans divers domaines, notamment l’IA générative.
L’une des caractéristiques uniques du superordinateur RSC est sa capacité à utiliser les données des systèmes de production de Meta pour l’entraînement à l’IA. Jusqu’à présent, Meta s’est principalement appuyé sur des sources ouvertes et des ensembles de données accessibles au public, bien que l’entreprise dispose d’un énorme trésor de données.
Le RSC est déjà entré dans l’histoire : Meta y a entraîné le modèle de langage LLaMA, qui – en partie divulgué, en partie publié – est devenu la force motrice du mouvement des modèles de langage à source ouverte. Selon Meta, l’entraînement du plus grand modèle LLaMA a pris 21 jours en utilisant 2 048 GPU Nvidia A100.
