Um novo chip de IA da Meta foi projetado para acelerar a execução de redes neurais, e um supercomputador aprimorado foi projetado para acelerar a própria pesquisa em IA da empresa.
O “Acelerador de Treinamento e Inferência da Meta” (MTIA) é uma nova família de chips projetada para acelerar e baratear o desempenho de processamento de redes neurais, chamado inferência. Espera-se que o chip esteja em uso até 2025. Por enquanto, a Meta ainda depende de placas gráficas Nvidia em seus data centers.
Assim como as Unidades de Processamento Tensorial (TPUs) do Google, o MTIA é um circuito integrado específico para aplicativos (ASIC) otimizado para a multiplicação de matrizes e funções de ativação encontradas em redes neurais. Segundo a Meta, o chip pode lidar com modelos de IA de baixa e média complexidade melhor do que uma GPU.
Com o Trainium e o Inferentia, a Amazon também oferece acesso a chips de IA para treinamento e execução na nuvem. A Microsoft está trabalhando em parceria com a AMD no desenvolvimento de chips de IA.
SuperCluster de Pesquisa: O supercomputador de IA RSC da Meta entra na fase dois
Em janeiro de 2022, a Meta apresentou o supercomputador de IA RSC, que, na época, afirmou ser a base para o Metaverse. Quando totalmente desenvolvido, ele deverá ser o supercomputador mais rápido especializado em cálculos de IA. A empresa vem construindo essa infraestrutura desde 2020.
De acordo com a Meta, o RSC agora atingiu sua segunda fase, com 2.000 unidades do Nvidia DGX A100 e 16.000 GPUs Nvidia A100. O desempenho máximo, segundo a Meta, é de cinco exaflops. O RSC será utilizado para pesquisas em IA em várias áreas, incluindo IA generativa.
Uma característica única do supercomputador RSC é sua capacidade de utilizar dados dos sistemas de produção da Meta para treinamento de IA. Até agora, a Meta dependia principalmente de conjuntos de dados de código aberto e publicamente disponíveis, embora a empresa possua um enorme tesouro de dados.
O RSC já fez história: a Meta treinou o modelo de linguagem LLaMA nele, que – em parte vazado, em parte publicado – se tornou o motor do movimento de modelos de linguagem de código aberto. Segundo a Meta, o treinamento do maior modelo LLaMA levou 21 dias com o uso de 2.048 GPUs Nvidia A100.
