O modelo de IA mais poderoso da OpenAI, GPT-4, está disponível gratuitamente no chatbot Bing da Microsoft – mas nem sempre está em uso. Presumivelmente por razões de custo, a Microsoft também usa seus modelos de linguagem Turing, o que poderia afetar a qualidade de algumas respostas.

Cerca de três meses após seu lançamento, o chatbot do Bing ainda é propenso a cometer erros e dar respostas não confiáveis, mais do que o ChatGPT original da OpenAI. Agora há uma possível explicação: o chatbot do Bing não depende consistentemente dos modelos de IA da OpenAI.

O novo Bing é alimentado por um modelo de IA chamado Prometheus, disse a Microsoft no lançamento do serviço. O sistema atribui perguntas cujas respostas são classificadas como “simples” aos modelos de linguagem Turing da Microsoft, disse Jordi Ribas, chefe de pesquisa e IA, em entrevista à Wired.

Os modelos de Turing também são parte integrante dos resultados de pesquisa do Bing, como a Microsoft explica em uma página de destino. De acordo com a Microsoft, eles são responsáveis por classificar, preencher automaticamente e avaliar a relevância dos anúncios, entre outras coisas.

Peter Salin, fundador da startup de IA Silo AI, sugere que a primeira resposta é geralmente dada por um modelo de Turing, mas que outras consultas produziriam melhores resultados porque seriam processadas pelo GPT-4. Desta forma, a Microsoft poderia economizar em custos computacionais.

Ribas rejeita a noção de que as respostas iniciais do chatbot do Bing são geralmente de qualidade inferior. Respostas imprecisas, diz ele, são mais prováveis devido à falta de contexto nas consultas iniciais dos usuários.

GPT-4 é caro para executar

A OpenAI ainda não divulgou os números de receita e despesa do ChatGPT. Dylan Patel, analista da empresa de pesquisa SemiAnalysis, estima que o ChatGPT atualmente custa à OpenAI cerca de US $ 700.000 por dia, ou 36 centavos por solicitação, para um total de mais de US $ 200 milhões por mês.

O OpenAI ganha dinheiro através de uma API paga, a API GPT-4 em particular é cara e o modelo de assinatura ChatGPT Plus por US $ 20 por mês, que é um requisito para o acesso ao GPT-4 via ChatGPT. Se a OpenAI ganha ou perde dinheiro é atualmente desconhecido.

De acordo com projeções da SimilarWeb, havia cerca de 100 milhões de usuários ativos em janeiro. Com base nos números acima, se cerca de dez por cento deles tivessem uma conta paga, a operação pura do ChatGPT poderia cobrir aproximadamente os custos. No entanto, este é um cálculo muito instável.

Os altos custos de computação são principalmente devido ao uso de placas gráficas Nvidia, que a Microsoft planeja substituir por seu próprio chip de IA, de acordo com o The Information. Enquanto isso, a empresa, que fornece a infraestrutura para ChatGPT e serviços semelhantes no Azure, aparentemente está tentando minimizar o uso do caro GPT-4.

O chatbot de IA da Microsoft foi integrado ao Bing desde o início de fevereiro de 2023 e fornece um vislumbre de um possível futuro de pesquisa: em vez de gerar uma lista de links, a IA responde à pergunta feita em um resumo compacto – na melhor das hipóteses, incluindo links para fontes relevantes para que as declarações do chatbot possam ser validadas externamente. Esta é a maior vantagem do GPT-4 no Bing sobre a integração nativa do ChatGPT.