O ChatGPT é uma das mais recentes e brilhantes ferramentas alimentadas por IA, mas os algoritmos que trabalham em segundo plano têm sido usados em uma ampla variedade de aplicativos e serviços desde 2020. Portanto, para entender como o ChatGPT funciona, precisamos começar falando sobre o motor de linguagem subjacente que o impulsiona.
O GPT no ChatGPT é principalmente o GPT-3, ou o Generative Pre-trained Transformer 3, embora o GPT-4 agora esteja disponível para assinantes do ChatGPT Plus e provavelmente se torne mais difundido em breve. Os modelos GPT foram desenvolvidos pela OpenAI (a empresa por trás do ChatGPT e do gerador de imagens DALL·E 2), mas eles alimentam desde os recursos de IA do Bing até ferramentas de escrita como Jasper e Copy.ai. Na verdade, a maioria dos geradores de texto de IA disponíveis no momento utiliza o GPT-3 e provavelmente oferecerá o GPT-4 como próximo passo.
O ChatGPT trouxe o GPT-3 para o destaque, pois tornou o processo de interagir com um gerador de texto alimentado por IA simples e, o mais importante, gratuito para todos. Além disso, é um chatbot, e as pessoas adoram um bom chatbot desde o SmarterChild.
Embora o GPT-3 e o GPT-4 sejam os Large Language Models (LLMs) mais populares atualmente, nos próximos anos é provável que haja muita concorrência. O Google, por exemplo, possui o Bard – seu chatbot de IA – que é alimentado pelo seu próprio motor de linguagem chamado Pathways Language Model (PaLM 2). Mas, por enquanto, a oferta da OpenAI é o padrão da indústria de facto. É a ferramenta mais fácil para as pessoas terem acesso.
Portanto, a resposta para “como o ChatGPT funciona?” basicamente é: GPT-3 e GPT-4. Mas vamos aprofundar um pouco mais.
O que é o ChatGPT?
O ChatGPT é um aplicativo desenvolvido pela OpenAI. Utilizando os modelos de linguagem GPT, ele pode responder às suas perguntas, escrever textos, elaborar emails, manter uma conversa, explicar código em diferentes linguagens de programação, traduzir linguagem natural para código e muito mais – ou pelo menos tentar – tudo com base nas instruções em linguagem natural que você fornecer. É um chatbot, mas um chatbot realmente, realmente bom.
Embora seja divertido brincar com o ChatGPT, por exemplo, se você quiser escrever um soneto shakespeariano sobre seu animal de estimação ou obter algumas ideias para assuntos de emails de marketing, ele também é bom para a OpenAI. É uma maneira de obter muitos dados de usuários reais e serve como uma demonstração impressionante do poder do GPT, que, de outra forma, poderia parecer um pouco confuso, a menos que você esteja profundamente envolvido em aprendizado de máquina.
Atualmente, o ChatGPT oferece dois modelos GPT. O padrão, GPT-3.5, é menos poderoso, mas está disponível gratuitamente para todos. O GPT-4 mais avançado é limitado aos assinantes do ChatGPT Plus, e mesmo eles têm um número limitado de perguntas por dia.
Uma das grandes características do ChatGPT é que ele pode lembrar da conversa que você está tendo com ele. Isso significa que ele pode obter contexto do que você já perguntou anteriormente e usar isso para informar a conversa com você. Você também pode pedir reformulações e correções, e ele se referirá ao que vocês estavam discutindo antes. Isso faz com que a interação com a IA pareça uma conversa genuína.
Se você quiser realmente ter uma ideia, vá e passe cinco minutos brincando com o ChatGPT agora (é grátis!), e depois volte para ler como ele funciona.
Como funciona o ChatGPT?
Esse imenso conjunto de dados foi usado para formar uma rede neural de aprendizado profundo […] modelada a partir do cérebro humano – o que permitiu ao ChatGPT aprender padrões e relacionamentos nos dados de texto […] prevendo qual texto deve vir a seguir em uma determinada frase.
O ChatGPT funciona tentando entender sua instrução e depois gera sequências de palavras que ele prevê que melhor responderão à sua pergunta, com base nos dados em que foi treinado.
Vamos falar sobre o treinamento em si. É um processo em que a IA nascente recebe algumas regras básicas e, em seguida, é colocada em situações ou recebe uma grande quantidade de dados para processar, a fim de desenvolver seus próprios algoritmos.
O GPT-3 foi treinado com cerca de 500 bilhões de “tokens“, que permitem que seus modelos de linguagem atribuam significado com mais facilidade e prevejam texto plausível que possa seguir. Muitas palavras correspondem a um único token, embora palavras mais longas ou complexas sejam frequentemente divididas em vários tokens. Em média, os tokens têm cerca de quatro caracteres de comprimento. A OpenAI tem mantido silêncio sobre os detalhes internos do GPT-4, mas podemos presumir com segurança que ele foi treinado em um conjunto de dados semelhante, uma vez que é ainda mais poderoso.
Todos os tokens vieram de um imenso corpus de dados escritos por humanos. Isso inclui livros, artigos e outros documentos abrangendo uma ampla variedade de tópicos, estilos e gêneros, além de uma quantidade inacreditável de conteúdo coletado da internet aberta. Basicamente, foi permitido que o modelo processasse o total acumulado do conhecimento humano.
Esse imenso conjunto de dados foi usado para formar uma rede neural de aprendizado profundo – um algoritmo complexo, com várias camadas e ponderações, modelado a partir do cérebro humano – o que permitiu ao ChatGPT aprender padrões e relacionamentos nos dados de texto e explorar a capacidade de criar respostas semelhantes às humanas, prevendo qual texto deve vir a seguir em uma determinada frase.
No entanto, isso subestima enormemente as coisas. O ChatGPT não trabalha em nível de frase – em vez disso, ele gera texto prevendo quais palavras, frases e até mesmo parágrafos ou estrofes poderiam seguir. Não é apenas o texto preditivo do seu telefone adivinhando a próxima palavra de forma bruta; ele tenta criar respostas totalmente coerentes para qualquer instrução.
Para aprimorar ainda mais a capacidade do ChatGPT de responder a uma variedade de instruções diferentes, ele foi otimizado para diálogos com uma técnica chamada aprendizado por reforço com feedback humano (RLHF). Essencialmente, os humanos criaram um modelo de recompensa com dados de comparação (onde duas ou mais respostas do modelo foram classificadas por treinadores de IA), para que a IA pudesse aprender qual era a melhor resposta.
Retomando à rede neural que foi formada. Com base em todo esse treinamento, a rede neural do GPT-3 possui 175 bilhões de parâmetros ou variáveis que permitem que ele receba uma entrada – sua instrução – e, com base nos valores e ponderações atribuídos aos diferentes parâmetros (e um pequeno grau de aleatoriedade), gere a saída que ele acredita ser a melhor correspondente ao seu pedido. A OpenAI não divulgou quantos parâmetros o GPT-4 possui, mas é uma suposição segura que seja superior a 175 bilhões e menor do que os rumores de 100 trilhões de parâmetros. Independentemente do número exato, ter mais parâmetros não significa automaticamente melhor. Parte do aumento de potência do GPT-4 provavelmente vem do fato de ter mais parâmetros do que o GPT-3, mas muitas melhorias provavelmente se devem a aprimoramentos em como ele foi treinado.
No final das contas, a maneira mais simples de imaginá-lo é como um daqueles jogos de “complete a frase” que você jogava quando era criança.
No final das contas, a maneira mais simples de imaginá-lo é como um daqueles jogos de “complete a frase” que você jogava quando era criança. Por exemplo, quando eu dei a instrução “Zapier é…” para o ChatGPT usando o GPT-3, ele respondeu dizendo:
“Zapier é uma ferramenta de automação baseada na web que permite que os usuários conectem diferentes aplicativos da web para automatizar tarefas repetitivas e melhorar fluxos de trabalho.”
Essa é o tipo de frase que você pode encontrar em centenas de artigos descrevendo o que o Zapier faz, então faz sentido que seja o tipo de resposta que ele fornece aqui. Mas quando meu editor deu a mesma instrução, ele disse:
“Zapier é uma ferramenta de automação baseada na web que permite que os usuários conectem diferentes aplicativos da web e automatizem fluxos de trabalho entre eles.”
Isso é bastante semelhante, mas não é exatamente a mesma resposta. Essa aleatoriedade (que você pode controlar em alguns aplicativos do GPT-3 com uma configuração chamada “temperatura”) garante que o ChatGPT não esteja apenas respondendo a cada resposta com o que seria uma resposta padrão. Ele passa cada instrução por toda a rede neural a cada vez e joga alguns dados aqui e ali para manter as coisas frescas. Não é provável que comece a afirmar que o Zapier é uma cor de Marte, mas ele vai misturar as palavras seguintes com base em suas probabilidades relativas.
(Para o que vale, quando executado com o GPT-4, o ChatGPT disse: “Zapier é uma ferramenta de automação baseada na web que permite que os usuários integrem e automatizem tarefas entre vários aplicativos e serviços online.” Muito parecido!)
Produzindo palavras, não conhecimento
Os criadores do ChatGPT são os primeiros a dizer que ele pode fornecer informações incorretas (e possivelmente prejudiciais), embora estejam trabalhando duro para corrigir isso.
Aqui está um exemplo inofensivo. Quando perguntei ao ChatGPT usando o GPT-3 e o GPT-4 para responder a “Harry Guinness é…”, o GPT-3 respondeu perguntando qual Harry Guinness. Ótima pergunta – há literalmente dois de nós! Então eu disse: “Harry Guinness, o escritor” (ou seja, eu mesmo). O GPT-4 adivinhou imediatamente quem eu era, embora ambas as respostas fossem fascinantes:
GPT-3: Harry Guinness é um escritor freelancer e jornalista baseado na Irlanda. Ele já escreveu para uma variedade de publicações, incluindo The New York Times, The Guardian, The Huffington Post e Popular Mechanics. Ele aborda temas que vão desde tecnologia e fotografia até viagens e cultura.
GPT-4: Harry Guinness é um escritor irlandês, fotógrafo e especialista em tecnologia. Ele já escreveu para várias publicações, incluindo How-To Geek, Lifehacker e Tuts+. Seu trabalho se concentra principalmente em tecnologia, tutoriais e dicas, bem como fotografia e edição de imagens. Guinness construiu uma reputação por criar guias detalhados que ajudam os leitores a entender assuntos complexos ou resolver problemas de maneira direta.
As primeiras e últimas linhas do GPT-3 são praticamente extraídas literalmente de vários dos meus sites e biografias de autor espalhados pela web (embora normalmente eu me apresente como escritor freelance e fotógrafo, não como jornalista). Mas a lista de publicações é basicamente inventada. Eu escrevi para o The New York Times, mas não para o The Guardian, The Huffington Post ou Popular Mechanics (embora eu escreva regularmente para o Popular Science, então talvez seja daí que tenha vindo).
O GPT-4 acerta na parte de fotógrafo e realmente lista algumas publicações para as quais escrevi, o que é impressionante, embora não sejam as publicações das quais eu me orgulharia mais. Isso é um ótimo exemplo de como a OpenAI conseguiu aumentar a precisão do GPT-4 em relação ao GPT-3, embora nem sempre possa oferecer a resposta mais correta.
Mas vamos voltar ao GPT-3, pois seu erro fornece um exemplo interessante do que está acontecendo nos bastidores do ChatGPT. Na verdade, ele não sabe nada sobre mim. Ele nem mesmo está copiando/colando da internet e confiando na fonte das informações. Em vez disso, ele está simplesmente prevendo uma sequência de palavras que virão a seguir com base nos bilhões de pontos de dados que possui.
Por exemplo: o The New York Times é agrupado muito mais frequentemente com o The Guardian e o The Huffington Post do que com os lugares para os quais escrevi, como Wired, Outside, The Irish Times e, é claro, Zapier. Portanto, quando precisa determinar o que deve seguir após o The New York Times, ele não busca informações publicadas sobre mim; ele busca essa lista de grandes publicações em todos os dados de treinamento que possui. É muito inteligente e parece plausível, mas não é verdadeiro.
O GPT-4 faz um trabalho muito melhor e acerta as publicações, mas o restante do que ele diz parece apenas frases plausíveis que poderiam seguir. Não acredito que ele tenha uma grande apreciação pela minha reputação: ele apenas está dizendo o tipo de coisa que uma biografia diz. Ele é muito melhor em esconder como funciona do que o GPT-3, embora esteja usando basicamente a mesma técnica.
Ainda assim, é impressionante o quanto o GPT já melhorou. Por enquanto, o GPT-4 está disponível apenas por assinatura premium, então a maior parte do conteúdo do ChatGPT que você vê dependerá do GPT-3, mas isso pode mudar no futuro. Quem sabe o que o GPT-5 trará. Com conteúdo do Zapier.
