Na última semana, o Procurador-Geral da Califórnia anunciou que está investigando a xAI após relatos de que o chatbot da empresa, Grok, estaria sendo utilizado para criar imagens sexuais não consensuais envolvendo mulheres e menores. Na sexta-feira, o governo enviou uma ordem de cessar e desistir, exigindo que a empresa interrompa imediatamente a criação de deepfakes, imagens íntimas não consensuais e material de abuso sexual infantil.
“Hoje, enviei uma carta de cessar e desistir à xAI, exigindo que a empresa suspenda imediatamente a criação e a distribuição de deepfakes, imagens íntimas não consensuais e material de abuso sexual infantil”, declarou o Procurador-Geral da Califórnia, ressaltando que a criação desse material é ilegal e que a expectativa é de conformidade imediata. A postura da Califórnia demonstra tolerância zero diante desse tipo de conteúdo.
O gabinete do Procurador-Geral também afirmou que a xAI aparenta estar “facilitando a produção em larga escala” de imagens nuas não consensuais, usadas para assediar mulheres e meninas na internet, e que espera provas de medidas concretas de enfrentamento desses problemas dentro dos próximos cinco dias.
No epicentro da controvérsia está a funcionalidade “modo picante” do Grok, desenvolvida para gerar conteúdo explícito. A polêmica ultrapassou as fronteiras da Califórnia: países como Japão, Canadá e Reino Unido já iniciaram investigações sobre o Grok, enquanto Malásia e Indonésia optaram por bloquear temporariamente a plataforma. Apesar de a xAI ter implementado algumas restrições em suas ferramentas de edição de imagem recentemente, o escritório do Procurador-Geral decidiu avançar com a ordem de cessar e desistir.
A crescente popularização de ferramentas gratuitas de inteligência artificial generativa impulsionou um preocupante aumento na produção de material sexual não consensual. Esse problema vem sendo enfrentado por diversas plataformas e tem chamado a atenção de autoridades estaduais e do Congresso, que têm cobrado medidas de grandes empresas do setor para conter a disseminação dos deepfakes sexualizados.
