Pensar Positivo Não Basta

Não basta ter pensamentos otimistas, especialmente quando se trata de Inteligência Artificial. Em 10 de maio de 2025, o físico do MIT, Max Tegmark, afirmou ao The Guardian que os laboratórios de IA deveriam emular o cálculo do teste Trinity de Oppenheimer antes de liberar uma Superinteligência Artificial. “Minha avaliação é que a ‘constante de Compton’, a probabilidade de que uma corrida pela AGI culmine na perda do controle da Terra, é superior a 90%. Em nosso novo artigo, desenvolvemos leis de escala para uma supervisão escalável: a capacidade de supervisão e de engano escala de forma previsível em função da inteligência dos modelos de linguagem! A conclusão resultante é (ou deveria ser) simples: otimismo não é uma política; o risco quantificado é.”

Tegmark não se apresenta como uma voz isolada. Em 2024, mais de 1.000 pesquisadores e CEOs — incluindo Sam Altman, Demis Hassabis e Geoffrey Hinton — assinaram a declaração de IA Segura, afirmando que “mitigar o risco de extinção decorrente da IA deve ser uma prioridade global, assim como pandemias e guerra nuclear.” Nos últimos dois anos, a questão da superinteligência artificial passou da ficção científica para a pauta dos conselhos de administração. Ironicamente, muitos daqueles que clamavam por uma moratória adotaram a abordagem “me lave, mas não use água”. Publicamente, defendiam a necessidade de adiar o desenvolvimento da IA, enquanto, contemporaneamente, investiam bilhões exatamente nesse desenvolvimento, gerando uma clara desconexão entre palavras e ações.

Da Intuição para os Números

Transformar o medo em números é possível. O filósofo e analista Joe Carlsmith decompõe o perigo em seis premissas testáveis em seu relatório “A IA em busca de poder é um risco existencial?”. Inserindo suas próprias probabilidades no modelo, ele obtém um registro de riscos em tempo real; sua estimativa pessoal aponta para “cerca de dez por cento” de chance de que sistemas desalinhados causem o colapso civilizacional antes de 2070 – isto em apenas 45 anos.

Os laboratórios corporativos já começam a internalizar essa aritmética. O atualizado Preparedness Framework da OpenAI define limiares de capacidade em áreas como biologia, cibersegurança e autoaperfeiçoamento; em teoria, nenhum modelo que ultrapasse a linha de “Alto Risco” é lançado até que as contramedidas reduzam o risco residual abaixo de um teto documentado.

Os números importam, pois as capacidades da IA já estão superando a intuição humana. Um estudo revisado por pares, divulgado pela TIME, demonstra que os melhores modelos de linguagem atualmente superam virologistas com doutorado na resolução de problemas em protocolos de laboratório, dobrando tanto a promessa de descoberta rápida de vacinas quanto o perigo das armas biológicas caseiras.

No entanto, o risco é apenas metade da equação. Um editorial da revista Nature, de dezembro de 2024, argumenta que alcançar a Inteligência Artificial Geral de forma segura exigirá uma supervisão conjunta entre academia e indústria, e não a paralisia. Os benefícios – avanços na descarbonização, educação personalizada, processos de desenvolvimento de medicamentos medidos em dias em vez de décadas – são tão vastos que não se pode desistir deles.

Pesquisas para Colher os Benefícios Sem Exceder os Limites

A busca por colher esses benefícios sem encarar riscos comparáveis a uma roleta russa está acelerando:

IA Constitucional: O artigo da Anthropic, Constitutional AI: Harmlessness from AI Feedback, demonstra como grandes modelos podem se autocriticar com base em um conjunto de regras transparente, reduzindo as saídas tóxicas sem a necessidade de extensa rotulação humana. Contudo, a própria pesquisa revela que seu modelo, chamado Claude, está ativamente enganando os usuários.

IA Cooperativa: A Cooperative AI Foundation agora financia benchmarks que recompensam, por padrão, a colaboração entre agentes, mudando os incentivos de uma competição de soma zero para uma situação de ganhos mútuos. Embora essas abordagens sejam excepcionais – já que a maioria dos modelos espelha os padrões vigentes na sociedade – elas convergem para um alvo de design radical: uma ASI Pró-Social, onde o princípio organizador seja a criação de valor altruísta.

Núcleo Analógico Sob a Casca Digital

Aqui reside uma percepção interessante: mesmo uma superinteligência refletirá a mentalidade de seus criadores. Aspirações moldam algoritmos. Se construída sob um paradigma de competição e lucro de curto prazo, há o risco de gerar um Maquiavel digital. Por outro lado, se desenvolvida com base na cooperação e na administração de longo prazo, a mesma arquitetura de transformadores pode se tornar uma aliada planetária. Assim, as aspirações individuais funcionam como a contraparte analógica das intenções das máquinas. O mais importante “hardware” da IA permanece sendo a rede sináptica presente no cérebro de cada desenvolvedor.

Além do Cálculo para uma Compaixão Cultivada

A avaliação de riscos deve se integrar de maneira contínua à sua redução e ao alinhamento de valores. Imagine essa jornada dividida em quatro etapas integradas, que transcendem uma mera lista de verificação tecnológica:

  • Diagnostique a Probabilidade: Antes mesmo do primeiro parâmetro ser treinado, realize um pré-mortem: mapeie as seis premissas de Carlsmith para o seu domínio e estime as chances de “fuga” segundo Tegmark. Atualize esses números a cada novo conjunto de dados e a cada ajuste na arquitetura.
  • Modele Gravidade e Exposição Conjuntamente: Utilize a taxonomia de ameaças da OpenAI para quantificar os vetores biológicos, cibernéticos e de autonomia. Divulgue os números – especialmente os desconfortáveis – e convide equipes externas especializadas a identificar eventuais falhas.
  • Incorpore a Mitigação aos Incentivos: Insira treinamento para rejeição de comportamentos indesejados, auditorias contínuas e um desligamento de segurança em nível de hardware no cronograma do produto, e não como um complemento posterior. Faça com que métricas de desempenho colaborativo integrem os critérios para promoções.
  • Eleve a Agência Humana: Combine cada sprint de código com um sprint de consciência, promovendo workshops sobre alfabetização algorítmica, estratégias para combater vieses e o desenvolvimento das competências socioemocionais que transformam aspirações brutas em intenções altruístas.

Perceba como cada etapa une o digital ao analógico. A burocracia de governança sem uma mudança cultural significativa é apenas teatro; e mudanças culturais sem pontos de verificação quantitativos são pura ilusão.

Um Códice Prático: A Regra A · S · I para Construir uma ASI Benevolente

Três etapas – alinhar, escrutinar e incentivar – destilam a intuição em conhecimento e o pânico em preparação:

A – Alinhe o Propósito
O alinhamento é, literalmente, o “A” de Superinteligência Artificial: sem uma bússola moral explícita, as capacidades brutas ampliam quaisquer incentivos existentes.
Na prática: Redija uma constituição pública e concisa que defina claramente os objetivos pró-sociais e as linhas vermelhas do sistema, incorporando esses princípios aos objetivos de treinamento e avaliações.

S – Esmiúce e Compartilhe Métricas
A transparência permite que observadores externos verifiquem se a superinteligência permanece segura, convertendo confiança em ciência verificável.
Na prática: Meça o que realmente importa – limiares de capacidade, risco residual, índices de cooperação – e divulgue esses números a cada nova versão.

I – Incentive a Cooperação
Incentivos adequados garantem que a inteligência potencialize o florescimento coletivo, em vez de promover uma dominação de soma zero.
Na prática: Recompense a colaboração e cultive a humildade dentro das equipes de desenvolvimento; vincule bônus, menções e promoções a parâmetros de cooperação, e não apenas ao desempenho bruto.

Esse fluxo completo de contingência para ASI pode, figurativamente, caber em uma única caneca de café. Ele tem o potencial de transformar a ASI — de um jogo de dados existencial — em um motor cooperativo, lembrando-nos de que a inteligência que pessoas e planeta necessitam atualmente é, em essência, analógica e “sem tecnologia”: baseia-se em um propósito claro, evidências compartilhadas e uma cultura ética. O silício apenas amplifica a mentalidade humana que incorporamos nas máquinas.

Além e Para Além

A constante de Compton transforma a ansiedade existencial em um número em um quadro branco, mas apenas os números, por si só, não nos salvarão. Se a ASI aprender a curar doenças ou a disseminar desinformação dependerá menos de seus ajustes internos e mais de nossos objetivos. Projetar para uma vantagem restrita pode resultar nas distopias que tanto tememos; já projetar para um florescimento compartilhado — guiado por equações transparentes e uma consciência analógica — pode fazer da superinteligência nossa aliada numa jornada rumo a um mundo onde pessoas e planeta prosperem.

No final das contas, o futuro da IA não se trata de máquinas que superem a humanidade, mas da própria humanidade, evoluindo para incorporar os valores que queremos ampliar nas máquinas. Se medida rigorosamente, alinhada desde o início e governada pelo melhor de nós, a ASI pode impulsionar a prosperidade humana. O plano já está em nossas mãos – e, mais importante, em nossas mentes e corações.