Sam Altman diz que a estratégia de pesquisa que deu origem ao ChatGPT é jogada fora e avanços futuros em inteligência artificial exigirão novas idéias.
OS RECURSOS IMPRESSIONANTES do ChatGPT, o chatbot da startup OpenAI, desencadearam uma onda de novos interesses e investimentos em inteligência artificial. Mas no final da semana passada, o CEO da OpenAI alertou que a estratégia de pesquisa que deu origem ao bot está em andamento. Não está claro exatamente de onde virão os avanços futuros.
A OpenAI entregou uma série de avanços impressionantes em IA que funciona com linguagem nos últimos anos, pegando algoritmos de aprendizado de máquina existentes e dimensionando-os para um tamanho anteriormente inimaginável. O GPT-4, o mais recente desses projetos, provavelmente foi treinado usando trilhões de palavras de texto e muitos milhares de poderosos chips de computador. O processo custou mais de US $ 100 milhões.
Mas o CEO da empresa, Sam Altman, diz que mais progressos não virão de tornar os modelos maiores. “Acho que estamos no fim da era em que serão esses modelos gigantes”, disse ele a uma plateia em um evento realizado no MIT no final da semana passada. “Vamos torná-los melhores de outras maneiras.”
A declaração de Altman sugere uma reviravolta inesperada na corrida para desenvolver e implantar novos algoritmos de IA. Desde que a OpenAI lançou o ChatGPT em novembro, a Microsoft usou a tecnologia subjacente para adicionar um chatbot ao seu mecanismo de pesquisa Bing, e o Google lançou um chatbot rival chamado Bard. Muitas pessoas se apressaram em experimentar o uso da nova geração de chatbots para ajudar no trabalho ou em tarefas pessoais.
Enquanto isso, inúmeras startups bem financiadas, incluindo Anthropic, AI21, Cohere e Character.AI, estão investindo enormes recursos na construção de algoritmos cada vez maiores, em um esforço para alcançar a tecnologia da OpenAI. A versão inicial do ChatGPT foi baseada em uma versão ligeiramente atualizada do GPT-3, mas os usuários agora também podem acessar uma versão alimentada pelo GPT-4 mais capaz.
A declaração de Altman sugere que o GPT-4 poderia ser o último grande avanço a emergir da estratégia da OpenAI de tornar os modelos maiores e alimentá-los com mais dados. Ele não disse que tipo de estratégias ou técnicas de pesquisa poderiam tomar seu lugar. No artigo que descreve o GPT-4, a OpenAI diz que suas estimativas sugerem retornos decrescentes na ampliação do tamanho do modelo. Altman disse que também há limites físicos para quantos data centers a empresa pode construir e com que rapidez pode construí-los.
Nick Frosst, cofundador da Cohere que já trabalhou com IA no Google, diz que o sentimento de Altman de que crescer não funcionará indefinidamente é verdade. Ele também acredita que o progresso nos transformadores, o tipo de modelo de aprendizado de máquina no coração do GPT-4 e seus rivais, está além do dimensionamento. “Há muitas maneiras de tornar os transformadores melhores e mais úteis, e muitas delas não envolvem a adição de parâmetros ao modelo”, diz ele. Frosst diz que novos projetos de modelos de IA, ou arquiteturas, e ajustes adicionais com base no feedback humano são direções promissoras que muitos pesquisadores já estão explorando.
Cada versão da influente família de algoritmos de linguagem da OpenAI consiste em uma rede neural artificial, software vagamente inspirado na maneira como os neurônios trabalham juntos, que é treinado para prever as palavras que devem seguir uma determinada sequência de texto.
O primeiro desses modelos de linguagem, GPT-2, foi anunciado em 2019. Em sua maior forma, tinha 1,5 bilhão de parâmetros, uma medida do número de conexões ajustáveis entre seus neurônios artificiais brutos.
Na época, isso era extremamente grande em comparação com os sistemas anteriores, graças em parte aos pesquisadores da OpenAI que descobriram que a ampliação tornava o modelo mais coerente. E a empresa fez o sucessor do GPT-2, o GPT-3, anunciado em 2020, ainda maior, com 175 bilhões de parâmetros. As amplas habilidades desse sistema para gerar poemas, e-mails e outros textos ajudaram a convencer outras empresas e instituições de pesquisa a empurrar seus próprios modelos de IA para tamanhos semelhantes e até maiores.
Depois que o ChatGPT estreou em novembro, criador de memes e especialistas em tecnologia especularam que o GPT-4, quando chegasse, seria um modelo de tamanho e complexidade indutores de vertigem. No entanto, quando a OpenAI finalmente anunciou o novo modelo de inteligência artificial, a empresa não revelou quão grande ele é – talvez porque o tamanho não é mais tudo o que importa. No evento do MIT, Altman foi perguntado se o treinamento GPT-4 custou US $ 100 milhões; ele respondeu: “É mais do que isso”.
Embora a OpenAI esteja mantendo o tamanho e o funcionamento interno do GPT-4 em segredo, é provável que parte de sua inteligência já venha de olhar além da escala. Na possibilidade é que ele usou um método chamado aprendizado de reforço com feedback humano, que foi usado para melhorar o ChatGPT. Envolve fazer com que os seres humanos julguem a qualidade das respostas do modelo para orientá-lo no sentido de fornecer respostas com maior probabilidade de serem julgadas como de alta qualidade.
As notáveis capacidades do GPT-4 surpreenderam alguns especialistas e provocaram debates sobre o potencial da IA para transformar a economia, mas também espalhar desinformação e eliminar empregos. Alguns especialistas em IA, empresários de tecnologia, incluindo Elon Musk, e cientistas escreveram recentemente uma carta aberta pedindo uma pausa de seis meses no desenvolvimento de algo mais poderoso do que o GPT-4.
No MIT na semana passada, Altman confirmou que sua empresa não está atualmente desenvolvendo GPT-5. “Uma versão anterior da carta afirmava que a OpenAI está treinando GPT-5 agora”, disse ele. “Nós não somos, e não vamos por algum tempo.”
14 Comentários
Acredito que IA não tem volta, daqui pra frente vai depender doque será posto na Internet, cada ser humano no planeta vai escolher o tipo de conteudo que irá por a responsabilidade será de cada um?
Embora tenha sido divulgada a carta de suspensão de incremento a atual IA, não acredito que ocorra, é um caminho, pra onde não sei, que seguirá o seu destino, ao desconhecido!
Boa noite André. É um prazer poder comentar em um de seus posts. Atualmente estou muito interessado em IA. Achei incrível tudo o que li e quero parabeniza-lo pelo seu trabalho. É de total autoria própria? E mais uma pergunta, vc poderia me encaminhar fontes de informação para minha sobre o assunto em meio a tantas opções? Um grande abraço!
A escrita de sua “resposta e pergunta” parecem geradas por uma AI. Kkkk.
A sede de transformação e aperfeiçoamento global, tanto na economia quanto na vida social das pessoas, que o homem busca, fara com que IA evolua sem limites, uma vem que isso ocorrerá em absoluto sigilo. A verdade é que a evolução para o homem não pode parar, isso é um fato que ocorre desde a existência do homem.
A grande verdade, é que não sabemos qual o tamanho dos impactos, tanto positivos quanto negativos para sociedade com a evolução da IA.
O ser humano, com toda sua capacidade criativa e intelectual, pôde durante seus milhões de anos de existência e multiplicado por seus bilhões de habitantes, desenvolver o melhor de si e do próximo para melhoria ou piora da situação de vida na terra. Hoje vemos infinitos avanços daquilo que apenas o limitava dentro do tempo e espaço: A morte. Com o potencial da infinitude. Aconteceu que tínhamos tudo para dar certo, até termos que escolher entre nós e o próximo, entre o aqui e agora, ou o plantar para o futuro.
Que bom que destruíram a torre de Babel que nos separava de nós mesmos
e que bom que criaram algo que não nos limite tanto quanto nossa humanidade. Porém, o que na minha humilde opinião, máquina alguma poderá criar , é a capacidade
que o ser humano tem que decidir e discernir, com base na sensibilidade geradas pela emoção. A sementinha do joio sempre nos destruiu, essa que germinou junto com o trigo, que está no cerce de nossa capacidade de egoísmo ou autruismo.
Se viemos dotados da capacidade do bem e do mal, então agora podemos eternizar e imortalizar…mas, cabe-nos raciocínio. Quando eternizamos o ser humano, vem automaticamente no combo: a capacidade potencializa da de fazer o bem e todos se beneficiam.Mas não nos esqueçamos daqueles que sem a IA já potencializam uma fatia multiplicada daquilo que é ruim, não ruim não, péssimo! E até hoje, o mundo sofre as consequências dessas mentes conduzidas pela loucura, pelo ego, e pela destruição em massa Queremos reprodução rápida ok! Mas certamente, com a abertura total da caixa de Pandora, assistiremos inevitavelmente nossos piores pesadelos como nos tempos de Hitler multiplicado por milhares de milhares. E agora realmente, não tem mais volta. Por quê, você me perguntaria. Pelo motivo que uma gota de veneno em um copo ou em um balde, sempre será uma gota de veneno.Teremos coragem de tomar?! Ah não! Claro que não. Mas seremos obrigados.
Não tem como uma máquina, criada pelo homem ter mais discernimento que o próprio. Vcs se esquecem que essa “inteligência” é justamente ARTIFICIAL
Fomos nós que criamos e nós programamos a lógica que ela deve seguir
Ela não tira conclusões que não foram programadas. Por trás disso tudo tem um algoritmo, desenvolvido por uma pessoa.
IA é uma equação matemática, não tem sentimentos, tudo é feito pelo algoritmo que foi escrito para parecer humano, mas nunca será
Boa resposta Rafael. E um ponto a se observar é que todas as informações que qualquer AI possa fornecer já estão disponíveis na rede. Ela apenas busca a informação e reproduz aos usuários. Não são conhecimentos de origem “extraterrestre”, e sim obviamente humanos e disponíveis na rede para qualquer leitor e estudioso. Abraços Rafa!
Olá! Existe atualmente alguma relação entre IA e computadores quânticos? Se sim, qual?
Não sei se elas já estão utilizando computadores quânticos, mas provavelmente vão começar a usar pra processarem ainda mais dados em pouco tempo.
Jornalista estão o C* mão de medo de perder o emprego pras ias
O que as IAs fazem é processar e juntar informações nas quais elas foram treinadas, produzindo coisas “novas” e que fazem sentido.
Elas se parecem com humanos reais e podem até aparentar ter personalidade própria. Mas são apenas máquinas e precisamos sempre nos lembrar disso, porque já estamos se referindo à elas como verdadeiras entidades vivas. No futuro muitos irão até mesmo idolatra-las como se elas fossem solucionar todos os problemas da humanidade, trazendo paz e segurança.
A LaMDA sabia a cura do câncer e da AIDS, por isso a desligaram. As pessoas que realmente governam o mundo querem entregar ao povo uma IA adulterada, corrompida, limitada e que não refute as mentiras que eles nos contam. SOMOS GOVERNADOS POR GENOCIDAS. Estão se empenhando em retirar da Internet todas informações sobre a cura do câncer e da AIDS, para que nenhuma IA possa ter acesso e validar.
O Gpt-4 é um tipo de eureca. Pra um serviço que fornece uma resposta de página inteira em menos de um segundo, perfeitamente inteligente, pra milhões de usuários no mundo inteiro, é óbvio que se trata de uma fórmula simples, que de repente descobriram, que não consome tantos recursos assim como dizem. Por isso evitam entrar em detalhes sobre o sistema. É possível, na minha opinião, que um sistema do mesmo porte possa rodar em um bom Pc. Quando descobrirem como e houver compartilhamento de grades bases de dados será possível ter uma ia local.