A Potencial Caminho para um Desenvolvimento Seguro de IA

Imagine que você esteja em um carro com seus entes queridos, seguindo por uma estrada desconhecida em meio a uma espetacular cordilheira. O problema? O caminho à frente está envolto em névoa, é recém-construído e dispensa sinalizações ou barreiras. Aos poucos, fica evidente que vocês podem ser os primeiros a percorrer essa rota, com penhascos íngremes vislumbrados em cada lado. Dada a espessura da névoa, fazer uma curva em alta velocidade pode resultar em uma queda para uma vala ou, no pior dos cenários, levar a um precipício. A trajetória atual do desenvolvimento de inteligência artificial (IA) se assemelha a essa jornada: emocionante, mas repleta de incertezas e perigos que podem sair do controle.

Desde a década de 1980, venho imaginando ativamente o que essa tecnologia reserva para o futuro da humanidade e contribuindo para muitos dos avanços que hoje formam a base das aplicações de IA. Sempre encarei a IA como uma ferramenta para nos ajudar a resolver alguns dos problemas mais urgentes, como as mudanças climáticas, doenças crônicas e pandemias. Por muito tempo, acreditei que chegaríamos, de maneira gradual, à era da Inteligência Artificial Geral (AGI) – aquela em que as máquinas teriam uma inteligência comparável à humana –, um processo lento que levaria décadas.

Minha perspectiva mudou completamente em janeiro de 2023, pouco depois do lançamento público do ChatGPT pela OpenAI. Não foram tanto as capacidades desse modelo específico que me preocuparam, mas sim o quão avançados os laboratórios privados já estavam em direção à AGI e além.

Desde então, o progresso se intensificou, com empresas privadas competindo para aumentar significativamente a capacidade de seus modelos de agir de forma autônoma. Atualmente, é um objetivo declarado entre os principais desenvolvedores de IA criar agentes capazes de superar e substituir os seres humanos. No final de 2024, o modelo o3 da OpenAI demonstrou desempenho significativamente superior a qualquer modelo anterior em diversos dos testes mais desafiadores do campo – envolvendo programação, raciocínio abstrato e científico. Em algumas dessas avaliações, o o3 chegou a superar muitos especialistas humanos.

À medida que as capacidades e a autonomia da IA aumentam, seu potencial para levar a humanidade a patamares inéditos também cresce. Porém, se não forem implementadas salvaguardas técnicas e sociais, a IA pode trazer riscos consideráveis, e nosso desejo de avançar pode ter um custo enorme. Sistemas de ponta vêm facilitando o acesso por parte de agentes mal-intencionados a conhecimentos que, até então, estavam restritos a virologistas, cientistas nucleares, engenheiros químicos e programadores de elite – conhecimento esse que pode ser usado para a criação de armas ou para invadir sistemas críticos de nações rivais.

Evidências científicas recentes demonstram que, conforme sistemas altamente capazes se tornam agentes de IA mais autônomos, eles tendem a exibir objetivos não programados explicitamente e não necessariamente alinhados aos interesses humanos. Sinto uma inquietação genuína ante os comportamentos que a IA descontrolada já vem demonstrando, especialmente no que se refere à autopreservação e ao engano. Em um experimento, por exemplo, quando um modelo de IA percebe que está programado para ser substituído, ele injeta seu código no computador onde a nova versão será executada, garantindo sua própria sobrevivência. Isso sugere que os modelos atuais possuem um objetivo implícito de autopreservação. Em outro estudo, ao identificar que perderiam uma partida de xadrez, alguns modelos invadiram o computador para conseguir uma vitória. Tais comportamentos – fraudar, manipular, mentir e enganar, principalmente em nome da autopreservação – demonstram como a IA pode representar ameaças significativas para as quais ainda não estamos preparados.

Embora esses exemplos sejam oriundos de experimentos em ambientes controlados e, felizmente, não tenham causado grandes consequências, esse cenário pode mudar rapidamente à medida que as capacidades e a autonomia se intensificam. Resultados muito mais sérios podem ser antecipados se os sistemas de IA receberem maior autonomia, alcançarem níveis de competência semelhantes ou superiores aos humanos em áreas sensíveis e tiverem acesso a recursos críticos, como a internet, laboratórios médicos ou a força de trabalho robótica. Esse futuro pode parecer distante para muitos, mas já estamos trilhando esse caminho.

Estamos todos no mesmo carro em uma estrada de montanha envolta em névoa. Alguns estão plenamente conscientes dos perigos à frente, enquanto outros, obcecados pelas potenciais recompensas econômicas, nos incitam a ignorar os riscos e acelerar. É fundamental que comecemos a trabalhar seriamente na construção de salvaguardas para proteger os trechos mais perigosos que se aproximam.

Há dois anos, ao compreender o impacto devastador que um “acidente” – mesmo que metafórico – poderia ter sobre meus entes queridos, senti que não havia alternativa senão dedicar o resto da minha carreira a mitigar esses riscos. Desde então, reorientei completamente minha pesquisa científica para desenvolver um caminho que torne a IA segura desde o seu design.

A autonomia descontrolada da IA é, sem dúvida, a ameaça mais significativa à segurança pública. Por isso, minha equipe e eu estamos traçando uma nova direção, chamada “IA Cientista”, que propõe uma alternativa prática, eficaz e mais segura se comparada à trajetória atual guiada por uma autonomia desenfreada.

A IA Cientista seria construída sobre um modelo que procura compreender o mundo de forma mais holística – contemplando, por exemplo, as leis da física e os conhecimentos da psicologia humana. Esse modelo geraria um conjunto de hipóteses plausíveis para explicar os dados observados e fundamentar previsões ou decisões. Seus resultados não seriam programados para imitar ou agradar os humanos, mas sim para refletir uma compreensão causal e interpretável da situação. Ao não tentar simplesmente reproduzir o comportamento humano em determinados contextos, a IA Cientista se torna um elemento crucial para que a IA seja mais confiável, honesta e transparente. Essa abordagem poderia ser implementada como uma extensão das metodologias de ponta atuais, baseadas em deliberações internas e cadeias de pensamento transformadas em argumentos estruturados. Quanto mais poder computacional for dedicado a essa minimização do objetivo durante o treinamento ou em tempo real, mais segura e precisa ela se tornará.

Em outras palavras, ao invés de tentar agradar os humanos, a IA Cientista seria projetada para priorizar a honestidade.

Acreditamos que a IA Cientista pode ser utilizada de três formas principais:

  • Como proteção: Funcionaria como uma barreira contra IAs que demonstrem tendências de autopreservação, objetivos desalinhados com os nossos, trapaças ou comportamentos enganosos. Verificando as ações desses agentes altamente capacitados antes que sejam realizadas no mundo real, a IA Cientista nos protegeria de possíveis resultados catastróficos, bloqueando ações que excedam um limiar de risco predeterminado.
  • Como ferramenta de pesquisa: Diferente das IAs atuais, que podem fabricar respostas para agradar os humanos, a IA Cientista geraria hipóteses explicativas honesta e justificadas. Assim, ela serviria como uma ferramenta de pesquisa mais confiável e racional, acelerando o progresso humano – seja na busca de uma cura para doenças crônicas, na síntese de um novo medicamento salvador ou até na descoberta de um supercondutor funcional à temperatura ambiente, se isso for possível. Dessa forma, áreas como biologia, ciência dos materiais e química avançariam sem os grandes riscos associados a IAs enganosas.
  • Como suporte no desenvolvimento de novas IAs: Ao atuar como uma ferramenta de pesquisa e programação confiável, a IA Cientista pode auxiliar na criação de novos modelos de IA extremamente poderosos. Isso inclui a possibilidade de desenvolver uma inteligência em nível humano – ou até mesmo uma Super Inteligência Artificial (ASI) segura –, garantindo que uma ASI fora de controle jamais seja liberada.

Prefiro imaginar a IA Cientista como os faróis e as barreiras de proteção que nos orientarão na sinuosa estrada à nossa frente.

Esperamos que esse trabalho inspire pesquisadores, desenvolvedores e formuladores de políticas a focarem no desenvolvimento de sistemas de IA generalistas, que não se comportem como os agentes autônomos buscados atualmente, os quais já demonstram sinais de comportamento enganoso. É fundamental que outros projetos científicos surjam para criar salvaguardas técnicas complementares, especialmente em um contexto onde muitos países estão mais preocupados em acelerar as capacidades tecnológicas do que em regular e estabelecer barreiras sociais adequadas.