Ce superordinateur fait partie d’une constellation de superordinateurs interconnectés d’une capacité combinée de 36 exaflops.
Le groupe G42, holding technologique basé à Abu Dhabi, a dévoilé le supercalculateur le plus rapide du monde, Condor Galaxy-1 (CG-1), qui possède 54 millions de cœurs et une capacité de traitement de quatre exaflops, selon un communiqué de presse. Le supercalculateur est situé à Santa Clara, en Californie, et sera exploité par Cerebras, une société d’intelligence artificielle basée aux États-Unis, conformément à la législation américaine.
Alors que la technologie de l’intelligence artificielle (IA) occupe le devant de la scène, la demande de supercalculateurs pour aider les entreprises à former leurs propres modèles est très forte. Des entreprises telles que Microsoft ont proposé de construire l’infrastructure extrêmement coûteuse et de la louer pour que les entreprises puissent y travailler.
Basé à Abu Dhabi, G42 est un holding technologique qui vise à créer des infrastructures pour le monde futuriste. Il travaille avec des nations et des entreprises pour concrétiser sa vision et construit le système de superordinateurs Condor Galaxy pour aider à résoudre les plus grands problèmes auxquels l’humanité est confrontée aujourd’hui.
Qu’est-ce que le système Condor Galaxy ?
De nombreuses entreprises technologiques ont annoncé la création de grappes massives d’unités de traitement graphique (GPU), le cerveau des modèles d’intelligence artificielle. « Distribuer un modèle unique sur des milliers de petits GPU demande des mois de travail à des dizaines de personnes possédant une expertise rare », a déclaré Andrew Feldman, PDG de Cerebras Systems, qui a collaboré avec G42 pour créer le supercalculateur le plus rapide.
Au lieu d’utiliser un superordinateur central, M. Feldman et son équipe à Cerebras construisent un ensemble de superordinateurs d’IA interconnectés qui peuvent réduire considérablement le temps de formation des modèles d’IA. Selon l’approche de Cerebras, la mise en place de modèles d’IA génératifs ne prend que quelques minutes et peut être réalisée par une seule personne.
Le système Condor Galaxy aura une puissance de traitement combinée de 36 exaFLOPS, ce qui est sans précédent dans le monde informatique d’aujourd’hui.
Le superordinateur le plus rapide
Au centre du Condor Galaxy System se trouve chaque superordinateur, dont le premier a été dévoilé récemment. Cerebras a réuni 64 de ses processeurs d’intelligence artificielle CS-2 pour assembler le supercalculateur CG-1.
Les cœurs de processeur EPYC d’AMD alimentent le système et comprennent 54 millions de cœurs de calcul optimisés pour l’IA avec 388 térabits par seconde de bande passante et 82 To de mémoire de stockage.
Avec un calcul à 16 bits, le système peut fournir une puissance de calcul de quatre exaFLOPS, soit quatre fois plus rapide que le superordinateur le plus rapide au monde. Il peut être utilisé pour former 600 milliards de modèles de paramètres et être étendu pour prendre en charge 100 billions de modèles de paramètres. À titre de comparaison, le modèle GPT-4 d’OpenAI est entraîné à l’aide de 1,7 trillion de paramètres.
Cerebras et G42 prévoient également d’introduire deux autres installations du supercalculateur, CG-2 et CG-3, aux États-Unis au début de l’année 2024 et d’offrir le CG-1 en tant que service en nuage aux clients.
Le CG-1 peut fonctionner en mode natif avec 50 000 jetons et sans aucune bibliothèque logicielle spéciale. La programmation sur le CG-1 peut se faire entièrement sans l’utilisation de langages de programmation distribués complexes, ce qui permet de gagner un temps précieux en répartissant le flux de travail entre les GPU, ajoute le communiqué de presse.
Le supercalculateur est situé à Colovore, un centre de colocation à Santa Clara, en Californie. Cerebras l’exploitera conformément aux lois américaines afin de s’assurer que la puissance de calcul n’est pas accessible à des nations adverses.
G42 et Cerebras sont convaincus que ce superordinateur plus rapide contribuera à relever les défis en matière de santé, d’énergie et de changement climatique.
Avec des informations provenant de interestingengineering.
