O ex-pesquisador da OpenAI, Andrej Karpathy, vislumbra um futuro em que os grandes modelos de linguagem (LLMs) se tornem a principal interface de acesso ao conteúdo. Em uma recente publicação no X, ele sugere que, embora a maior parte do conteúdo continue sendo elaborado para humanos, 99,9% dos esforços de otimização serão direcionados para torná-lo acessível aos LLMs. Essa mudança pode transformar, de maneira profunda, a forma como a documentação e outros conteúdos são estruturados.
Karpathy cita as práticas atuais de documentação como exemplo: “99% das bibliotecas ainda possuem documentações que basicamente se transformam em páginas .html estáticas, partindo do pressuposto que um humano as acessará.” Segundo ele, até 2025 a documentação deverá existir como um único arquivo de projeto, otimizado para a janela de contexto de um LLM.
Caminhando para padrões web amigáveis à IA
O especialista observa que, embora combinar bases de código em arquivos únicos seja uma tarefa relativamente simples, o verdadeiro desafio reside na otimização de conteúdos armazenados em formatos projetados para humanos – como websites, PDFs, imagens, vídeos e áudios. Esses formatos da era pré-LLM dificultam a adaptação ao consumo por sistemas de IA. Dessa forma, a indústria necessita de novos padrões que atendam tanto os usuários humanos quanto as máquinas.
Um novo padrão proposto, denominado llms.txt, está alinhado à visão de Karpathy para uma estrutura de conteúdo otimizada para IA. Desenvolvido por Jeremy Howard, essa especificação atua de forma semelhante ao index.html, porém voltado para sistemas automatizados. Enquanto o index.html direciona os usuários para a versão HTML de uma página, o llms.txt orientaria os sistemas de IA para uma versão em Markdown (.md) e legível por máquinas. Essa abordagem dual permite que os sites mantenham versões do conteúdo tanto para humanos quanto para IA. Já empresas como a Anthropic adotaram esse padrão.
Empresas de LLM como as novas guardiãs do conteúdo
As implicações dessa mudança vão muito além das questões técnicas. A economia digital atual se sustenta na atenção humana, captada por meio de publicidade e assinaturas. Com a migração do conteúdo para o consumo por IA, o setor enfrenta o desafio de reinventar seus modelos de valor e fontes de receita. Em meio a essa transformação, empresas de IA já iniciaram o licenciamento de feeds de notícias em tempo real, o que levanta uma questão séria: quando organizações como a OpenAI passam a decidir quais conteúdos seus sistemas acessarão, elas se transformam em poderosas guardiãs da informação.
Essa mudança pode remodelar completamente a forma como o conteúdo online é descoberto e consumido, suscitando importantes questionamentos sobre o controle de acesso à informação. O desafio se intensifica considerando que os LLMs ainda cometem erros frequentes ao processar e reproduzir dados.
Resumo
- O pesquisador em IA, Andrej Karpathy, prevê que, no futuro, o conteúdo será predominantemente criado para ser consumido por sistemas de IA, e não para leitores humanos.
- Ele aponta que os formatos atuais – como websites, PDFs e vídeos – não são ideais para a leitura por sistemas de IA, sendo necessários novos padrões e formatos para facilitar essa transição.
- Essa transformação apresenta desafios para a economia digital tradicional, exigindo a reformulação dos modelos de negócio, remuneração e licenciamento, que atualmente se baseiam no consumo direto pelo público.
