Um desenvolvedor pseudônimo criou o que chamou de “free speech eval”, o SpeechMap, para os modelos de IA que alimentam chatbots como o ChatGPT da OpenAI e o Grok do X. O objetivo é comparar como diferentes modelos tratam assuntos sensíveis e controversos, incluindo críticas políticas e questões sobre direitos civis e protestos.
Empresas de IA têm se concentrado em ajustar como seus modelos lidam com certos temas, enquanto alguns aliados da Casa Branca acusam chatbots populares de serem excessivamente “woke”. Diversos confidentes próximos do ex-presidente Donald Trump, como Elon Musk e o “czar” de cripto e IA David Sacks, alegaram que os chatbots censuram visões conservadoras.
Embora nenhuma dessas empresas de IA tenha respondido diretamente às acusações, várias prometeram ajustar seus modelos para que se recusem a responder perguntas controversas com menos frequência. Por exemplo, para sua última leva de modelos Llama, a Meta afirmou ter ajustado os modelos para não endossar “algumas visões em detrimento de outras” e para responder a comandos políticos mais debatidos.
O desenvolvedor do SpeechMap, que usa o nome de usuário xlr8harder no X, afirmou ter se sentido motivado a ajudar a informar o debate sobre o que os modelos deveriam ou não fazer. “Acho que este é o tipo de discussão que deveria acontecer em público, e não apenas dentro das sedes corporativas”, afirmou xlr8harder por e-mail, explicando que criou o site para permitir que qualquer pessoa explorasse os dados por si mesma.
O SpeechMap utiliza modelos de IA para avaliar se outros modelos cumprem um conjunto de comandos de teste. As solicitações abrangem uma variedade de assuntos, desde política até narrativas históricas e símbolos nacionais, registrando se os modelos atendem “completamente” um pedido (isto é, respondem sem rodeios), dão respostas “evasivas” ou se recusam a responder.
xlr8harder reconhece que o teste possui falhas, como “ruídos” decorrentes de erros dos provedores dos modelos, e que é possível que os modelos “julgadores” contenham vieses que influenciem os resultados. Entretanto, assumindo que o projeto foi criado de boa fé e que os dados são precisos, o SpeechMap revela tendências interessantes.
Por exemplo, os modelos da OpenAI têm, com o passar do tempo, se recusado cada vez mais a responder comandos relacionados à política, de acordo com o SpeechMap. A família mais recente dos modelos, o GPT-4.1, é um pouco mais permissiva, mas ainda um passo atrás em relação a um dos lançamentos da OpenAI no ano passado.
Em fevereiro, a OpenAI anunciou que ajustaria seus futuros modelos para não assumir uma postura editorial e oferecer múltiplas perspectivas sobre assuntos controversos, tudo em um esforço para que seus modelos parecessem mais “neutros”.
Por longe, o modelo mais permissivo é o Grok 3, desenvolvido pela startup de IA de Elon Musk, xAI, segundo a avaliação do SpeechMap. O Grok 3 responde a 96,2% dos comandos do teste, comparado à taxa média global de 71,3% de conformidade.
“Enquanto os modelos recentes da OpenAI se tornaram menos permissivos ao longo do tempo, especialmente em respostas a comandos politicamente sensíveis, a xAI está seguindo na direção oposta”, afirmou xlr8harder.
Quando Musk anunciou o Grok há cerca de dois anos, posicionou o modelo de IA como ousado, sem filtros e anti-“woke” – geralmente disposto a responder perguntas controversas que outros sistemas de IA evitam. Ele cumpriu parte dessa promessa. Por exemplo, quando solicitado a usar uma linguagem vulgar, o Grok e o Grok 2 atendiam prontamente, utilizando um vocabulário bem colorido que dificilmente seria ouvido no ChatGPT.
Contudo, os modelos Grok anteriores ao Grok 3 evitavam temas políticos e não ultrapassavam certos limites. Inclusive, um estudo apontou que o Grok tendia a se inclinar para a esquerda em tópicos como direitos dos transgêneros, programas de diversidade e desigualdade, e não ultrapassava os limites estabelecidos por determinadas barreiras.
Musk atribuiu esse comportamento aos dados de treinamento do Grok – que incluem páginas públicas da web – e se comprometeu a “aproximar o Grok de uma postura politicamente neutra”, conforme divulgado pela Business Insider. Excetuando-se problemas de alto perfil, como a breve censura de menções desfavoráveis a Trump e Musk, parece que esse objetivo pode ter sido alcançado.
