O código aberto de IA está em ascensão. Isso torna menos provável que um punhado de empresas controle a tecnologia.

Eles mudaram o mundo escrevendo software. Mas os tipos tecnológicos também são conhecidos por compor longos memorandos em prosa, os mais famosos dos quais marcaram pontos de virada na computação.

Pense no memorando de “onda de maré da Internet” de Bill Gates de 1995, que reposicionou a Microsoft em direção à web; ou o memorando de “mandato de api” de Jeff Bezos de 2002, que abriu a infraestrutura digital da Amazon, abrindo caminho para a computação em nuvem moderna.

Agora, os tecnólogos estão animados com outro memorando, desta vez vazado de dentro do Google, intitulado “Não temos fossos”.

Seu autor desconhecido detalha o progresso impressionante sendo feito em inteligência artificial (IA) – e desafia algumas suposições de longa data sobre o equilíbrio de poder nessa indústria em rápida movimentação.

IA estourou na consciência pública com o lançamento no final de 2022 do Chatgpt, um chatbot alimentado por um “modelo de linguagem grande” (llm) feito pela Openai, uma startup intimamente ligada à Microsoft. Seu sucesso levou o Google e outras empresas de tecnologia a lançar seus próprios chatbots alimentados por llm. Esses sistemas podem gerar texto e manter conversas realistas porque foram treinados usando trilhões de palavras retiradas da internet. Treinar um grande llm leva meses e custa dezenas de milhões de dólares. Isso levou a preocupações de que a IA seria dominada por algumas empresas com muito dinheiro.

Mas essa suposição está errada, diz o memorando do Google. Ele observa que pesquisadores na comunidade de código aberto, usando recursos gratuitos on-line, agora estão alcançando resultados comparáveis aos dos maiores modelos proprietários. Descobriu-se que os llms podem ser “ajustados” usando uma técnica chamada adaptação de baixo escalão, ou LoRa. Isso permite que um llm existente seja otimizado para uma tarefa específica de maneira muito mais rápida e barata do que treinar um llm do zero.

A atividade em IA de código aberto explodiu em março, quando llama, um modelo criado pela Meta, a empresa-mãe do Facebook, vazou on-line. Embora seja menor do que os maiores llms (sua menor versão tem 7 bilhões de parâmetros, em comparação com 540 bilhões para o Palm do Google), foi rapidamente ajustado para produzir resultados comparáveis à versão original do Chatgpt em algumas tarefas. Conforme os pesquisadores de código aberto construíram sobre o trabalho uns dos outros com llama, “uma tremenda onda de inovação seguiu”, escreve o autor do memorando.

Isso pode ter implicações sísmicas para o futuro da indústria. “A barreira de entrada para treinamento e experimentação caiu do resultado total de uma grande organização de pesquisa para uma pessoa, uma noite e um laptop potente”, afirma o memorando do Google. Agora é possível ajustar um llm por US$100 em algumas horas. Com seu modelo rápido, colaborativo e de baixo custo, “o código aberto tem algumas vantagens significativas que não podemos replicar”. Daí o título do memorando: isso pode significar que o Google não tem um “fosso” defensivo contra concorrentes de código aberto. Nem, por sinal, a Openai.

Nem todos concordam com essa tese. É verdade que a internet é alimentada por software de código aberto, mas as pessoas também usam softwares proprietários pagos, desde o Adobe Photoshop até o Microsoft Windows. A inteligência artificial pode encontrar um equilíbrio semelhante. Além disso, avaliar sistemas de inteligência artificial é notoriamente difícil. No entanto, mesmo que o memorando esteja em parte correto, a implicação é que o acesso à tecnologia de IA será muito mais democratizado do que parecia possível há apenas um ano. Poderosos LLMs podem ser executados em um laptop; qualquer pessoa que queira agora pode ajustar sua própria IA.

Isso tem implicações positivas e negativas. Do lado positivo, torna menos provável o controle monopolístico da IA por algumas empresas. Tornará o acesso à IA muito mais barato, acelerará a inovação em todo o campo e facilitará para os pesquisadores analisar o comportamento dos sistemas de IA (seu acesso a modelos proprietários era limitado), aumentando a transparência e a segurança. Mas o acesso mais fácil à IA também significa que os atores mal-intencionados poderão ajustar sistemas para fins nefastos, como gerar desinformação. Significa que as tentativas ocidentais de impedir que regimes hostis tenham acesso a tecnologias poderosas de IA falharão. E torna a IA mais difícil de regular, porque o gênio está fora da garrafa.

Se o Google e seus similares realmente perderam seu fosso em IA, logo ficará evidente. Mas, assim como com esses memorandos anteriores, isso parece outro ponto de virada para a computação. Referência: The Economist.