Com o modelo LLaMA, meio publicado, meio vazado, a Meta iniciou um movimento de código aberto para modelos de linguagem. A Meta planeja mantê-lo aberto no futuro.
Durante uma reunião interna e no mais recente podcast de Lex Fridman, Zuckerberg enfatiza que ainda vê muito potencial no código aberto. Ele rebate críticas a essa abordagem, especialmente em relação à segurança, apontando para as capacidades ainda limitadas dos próprios sistemas, mas também comparando a Meta aos modelos muito maiores do Google ou da OpenAI.
Se a IA realmente atingir o status de superinteligência, essa postura precisará ser reconsiderada, mas até lá, tornar os sistemas de IA de código aberto é a melhor maneira de obter feedback sobre segurança e alinhamento com as necessidades humanas, de acordo com Zuckerberg. O feedback e a colaboração próxima com pessoas externas ajudariam a Meta a aprimorar suas tecnologias.
Internamente, Zuckerberg expressou sentimentos semelhantes sobre a estratégia de código aberto, segundo o New York Times, afirmando que “democratizar” a IA tem muitos benefícios e também está alinhado com a visão de produto da empresa de permitir o máximo de sistemas de IA possíveis, em vez de criar apenas um para governar todos eles.
“Diferentes pessoas têm interesses diferentes, e precisaremos de uma variedade diversificada de AIs para representar todos esses interesses diferentes”, disse Zuckerberg.
LLaMA v2 será mais do que um projeto de pesquisa
A Meta está trabalhando em um sucessor para o LLaMA, possivelmente o “LLaMA v2”. Claro que ele pode receber um novo nome. Isso ainda está em aberto.
Zuckerberg diz que o novo modelo se tornará um produto de infraestrutura central para a Meta, servindo a muitos propósitos em seus próprios produtos e “esperançosamente em muitos outros”. A Meta aparentemente está planejando chatbots no WhatsApp e no Instagram, além de um assistente de IA para óculos inteligentes e headsets.
O foco da Meta é a segurança e a integração de tecnologias de ponta. Responsabilidade e alinhamento são dois aspectos-chave do desenvolvimento. Além disso, o treinamento será realizado com “mais dados dos próprios serviços da empresa”, em comparação com o LLaMA, afirmou Zuckerberg.
Ainda não está claro se o LLaMA v2 será de código aberto novamente. Zuckerberg não descarta essa possibilidade, dizendo a Fridman que a Meta está discutindo principalmente o “como” internamente. O LLaMA v1 foi lançado sob uma licença de pesquisa e, portanto, não pode ser usado para projetos comerciais, o que Zuckerberg diz ser amplamente respeitado.
O LLaMA da Meta tem servido como base para várias iterações e evoluções de chatbots de código aberto e modelos de linguagem, como Alpaca, Vicuna ou OpenAssistant.
