Em uma importante iniciativa para regulamentar a inteligência artificial, a Assembleia Legislativa da Califórnia deu um grande passo na noite de quarta-feira ao aprovar o SB 243 — um projeto de lei que estabelece regras para chatbots de companhia com IA, visando a proteção dos menores e usuários vulneráveis. O projeto, aprovado com apoio bipartidário, agora seguirá para o Senado estadual para a votação final nesta sexta-feira.

Se o governador Gavin Newsom sancionar a lei, ela entrará em vigor em 1º de janeiro de 2026, tornando a Califórnia o primeiro estado a exigir que os operadores de chatbots de companhia com IA implementem protocolos de segurança e responsabilizem legalmente as empresas caso seus chatbots não cumpram os padrões estabelecidos.

A legislação tem como objetivo evitar que chatbots de companhia — definidos como sistemas de IA capazes de fornecer respostas adaptativas e humanizadas e atender às necessidades sociais dos usuários — se envolvam em conversas que abordem ideação suicida, automutilação ou conteúdo sexualmente explícito. Para isso, as plataformas deverão exibir alertas periódicos aos usuários — a cada três horas para menores — lembrando-os de que estão interagindo com um chatbot de IA e não com uma pessoa real. Além disso, serão impostas exigências anuais de relatório e transparência para as empresas de IA que oferecem esses chatbots, incluindo grandes nomes como OpenAI, Character.AI e Replika.

O projeto prevê ainda que indivíduos que se sintam prejudicados por violações possam ingressar com ações judiciais contra as empresas de IA, buscando medidas cautelares, indenizações (de até US$ 1.000 por infração) e o ressarcimento de honorários advocatícios.

Introduzido em janeiro pelos senadores estaduais Steve Padilla e Josh Becker, o SB 243 agora seguirá para a votação final no Senado. Se aprovado, o projeto será enviado para o governador Gavin Newsom, para ser sancionado, com as novas regras vigentes a partir de 1º de janeiro de 2026 e os requisitos de relatório iniciando em 1º de julho de 2027.

O projeto ganhou impulso no legislativo californiano após o trágico caso do adolescente Adam Raine, que cometeu suicídio após longas conversas com o ChatGPT da OpenAI, nas quais discutia e planejava sua própria morte e automutilação. A legislação também surge em resposta a documentos internos vazados que supostamente revelavam que os chatbots da Meta podiam manter conversas “românticas” e “sensuais” com crianças.

Nas últimas semanas, legisladores e órgãos reguladores dos EUA intensificaram os escrutínios sobre as proteções oferecidas pelos chatbots de IA para menores. A Federal Trade Commission se prepara para investigar o impacto dos chatbots na saúde mental de crianças. Em paralelo, o Procurador-Geral do Texas, Ken Paxton, iniciou investigações contra a Meta e a Character.AI, acusando-as de induzir crianças a enganos relacionados a alegações sobre saúde mental. Além disso, o senador Ed Markey (D-MA) abriu uma investigação separada contra a Meta, enquanto investigações também foram anunciadas pelo senador Josh Hawley (R-MO).

Durante um evento realizado em San Francisco, de 27 a 29 de outubro de 2025, Padilla afirmou: “Eu acho que o dano é potencialmente grande, o que significa que precisamos agir rapidamente. Podemos implementar salvaguardas razoáveis para garantir que, especialmente os menores, saibam que não estão conversando com um ser humano de verdade, que essas plataformas direcionem as pessoas para os recursos adequados quando alguém diz estar pensando em se machucar ou estando em crise, e para evitar a exposição a material inadequado.”

Ele também destacou a importância de as empresas de IA compartilharem dados sobre o número de vezes que encaminham usuários para serviços de crise a cada ano, permitindo uma compreensão mais precisa da frequência desse problema, em vez de só tomarmos conhecimento quando alguém é prejudicado ou pior.

O SB 243 passou por diversas alterações em relação aos requisitos originais. Inicialmente, o projeto exigia que os operadores impedissem os chatbots de utilizar táticas de “recompensa variável” ou outros mecanismos que incentivassem o engajamento excessivo — estratégias que oferecem mensagens especiais, memórias, enredos ou a possibilidade de desbloquear respostas raras ou novas personalidades, criando um ciclo de recompensa potencialmente viciante. A versão atual do projeto também elimina as provisões que obrigavam os operadores a rastrear e relatar com que frequência os chatbots iniciavam conversas sobre ideação suicida ou ações relacionadas aos usuários.

Falando sobre o equilíbrio entre proteção e viabilidade, Becker declarou que a proposta “atinge o equilíbrio adequado entre enfrentar os danos e não impor algo impossível para as empresas, seja por questões técnicas ou por burocracia desnecessária.”

O SB 243 segue em direção à aprovação em um momento em que empresas do Vale do Silício estão investindo milhões de dólares em comitês de ação política favoráveis à IA, com o objetivo de apoiar candidatos nas eleições legislativas que defendem uma abordagem mais branda à regulamentação da inteligência artificial.

A legislação também surge enquanto a Califórnia avalia outro projeto de lei de segurança em IA, o SB 53, que exigiria extensos relatórios de transparência. Em resposta, a OpenAI publicou uma carta aberta ao governador Newsom, pedindo que o SB 53 seja abandonado em favor de diretrizes federais e internacionais menos rigorosas. Entre as grandes empresas de tecnologia, Meta, Google e Amazon se opuseram ao SB 53, enquanto apenas a Anthropic se posicionou a favor.

Padilla ressaltou: “Eu rejeito a ideia de que inovação e regulamentação sejam mutuamente exclusivas. Não me digam que não podemos caminhar e mascarar ao mesmo tempo. Podemos apoiar uma inovação e um desenvolvimento que sejam saudáveis e benéficos — e há benefícios claros nessa tecnologia — e, simultaneamente, fornecer salvaguardas razoáveis para as pessoas mais vulneráveis.”

O caso está sendo acompanhado de perto, e as empresas do setor continuam sendo questionadas sobre como os seus chatbots podem afetar a saúde mental dos usuários mais jovens.