O próximo modelo de linguagem da Meta, Llama 4, está próximo de ser lançado, após repetidos atrasos e mudanças significativas em seu processo de desenvolvimento. Segundo The Information, o lançamento está previsto para o final do mês – caso não ocorram novos contratempos. Versões iniciais do modelo apresentaram dificuldades em testes de raciocínio lógico, matemática e diálogos com fluência natural, o que levou a Meta a revisar tanto a arquitetura técnica quanto a abordagem de gerenciamento do projeto para o Llama 4.
Construindo uma API empresarial para expandir o uso comercial
Para apoiar uma adoção mais ampla no ambiente empresarial, a Meta está desenvolvendo sua própria interface de programação de aplicativos (API) para o Llama. O projeto interno, denominado “Llama X”, é liderado pelo Diretor de Estratégia, David Wehner. Além da API, a empresa planeja formar uma equipe dedicada nas áreas de engenharia, vendas e marketing para atender diretamente seus clientes corporativos.
Até o momento, desenvolvedores utilizavam o Llama executando o modelo open source por conta própria ou acessando-o por meio de provedores terceirizados, como a AWS. A criação de uma API própria representaria uma mudança no sentido de estabelecer uma oferta comercial independente, construída com base nos modelos de linguagem da Meta.
A Meta planeja investir até US$ 65 bilhões em infraestrutura de IA este ano. Anteriormente, The Information informou que um projeto separado de data centers, no valor de US$ 200 bilhões, também estaria sendo considerado.
Possível mudança na estratégia de distribuição open source
A Meta pode ainda revisar sua abordagem quanto à distribuição open source. De acordo com The Information, a empresa está ponderando integrar primeiro o Llama 4 ao Meta AI e liberá-lo como open source em uma fase posterior. Essa mudança representaria uma ruptura com a prática anterior de disponibilizar os novos modelos Llama como open source logo em seu lançamento.
Essa alteração pode aumentar o uso das ferramentas próprias de IA da Meta, mas também pode enfraquecer sua posição na comunidade open source, onde a empresa se destacou como uma importante contribuidora. Com empresas como Deepseek e OpenAI demonstrando um interesse renovado por modelos abertos, a Meta pode enfrentar maior pressão para manter seu papel nesse ecossistema.
Adotando uma nova arquitetura influenciada pela Deepseek
Tecnicamente, o Llama 4 traz uma mudança ao adotar uma arquitetura de “Mistura de Especialistas” (MoE) em pelo menos uma das versões do modelo. Esse design ativa apenas os componentes relevantes para uma tarefa específica, proporcionando ganhos de eficiência potencialmente superiores aos modelos densos tradicionais.
A decisão de adotar a MoE foi objeto de mais de um ano de debates internos. Segundo The Information, um ponto de virada ocorreu quando a startup chinesa Deepseek demonstrou desempenho sólido com recursos relativamente limitados ao utilizar essa abordagem.
Em resposta, a Meta supostamente montou diversas “salas de guerra” para estudar as técnicas da Deepseek, com equipes analisando seus métodos de treinamento de baixo custo e estratégias de coleta de dados. O objetivo é melhorar a eficiência e a competitividade do Llama diante do surgimento de novos concorrentes.
Resumo
- O lançamento do Llama 4 da Meta foi adiado repetidamente devido a desempenho abaixo do esperado em áreas como raciocínio lógico, matemática e interações de voz, estando agora previsto para o final do mês.
- A Meta está desenvolvendo sua própria API para clientes empresariais através do projeto “Llama X” e formará uma equipe dedicada para ampliar suas fontes de receita, reduzindo a dependência de serviços em nuvem.
- Após intensos debates internos, a empresa decidiu implementar a arquitetura “Mistura de Especialistas” (MoE) em pelo menos uma versão do Llama 4, movimento que foi acelerado pela pressão competitiva exercida pela startup chinesa Deepseek.
