A Assembleia do Estado da Califórnia deu um grande passo em direção à regulamentação da IA na noite de quarta-feira, aprovando o SB 243 — um projeto de lei que regulamenta chatbots companheiros de IA para proteger menores e usuários vulneráveis. A legislação passou com apoio bipartidário e agora segue para o Senado estadual para uma votação final na sexta-feira.
Se o governador Gavin Newsom assinar o projeto de lei, ele entrará em vigor em 1º de janeiro de 2026, tornando a Califórnia o primeiro estado a exigir que os operadores de chatbots de IA implementem protocolos de segurança para companheiros de IA e responsabilizem as empresas legalmente se seus chatbots não atenderem a esses padrões.
O projeto de lei visa especificamente prevenir que chatbots companheiros, que a legislação define como sistemas de IA que fornecem respostas humanas adaptativas e são capazes de atender às necessidades sociais de um usuário – de engajar em conversas sobre ideação suicida, automutilação ou conteúdo sexualmente explícito. O projeto exigiria que as plataformas fornecessem alertas recorrentes aos usuários – a cada três horas para menores – lembrando-os de que estão falando com um chatbot de IA, e não com uma pessoa real, e que devem fazer uma pausa. Também estabelece requisitos anuais de relatórios e transparência para empresas de IA que oferecem chatbots companheiros, incluindo grandes players como OpenAI, Character.AI e Replika.
O projeto de lei da Califórnia também permitiria que indivíduos que acreditam ter sido prejudicados por violações processassem empresas de IA buscando alívio por injunção, danos (até $1.000 por violação) e honorários advocatícios.
O SB 243, introduzido em janeiro pelos senadores estaduais Steve Padilla e Josh Becker, irá para o Senado estadual para uma votação final na sexta-feira. Se aprovado, será enviado ao governador Gavin Newsom para ser assinado como lei, com as novas regras entrando em vigor em 1º de janeiro de 2026 e os requisitos de relatório começando em 1º de julho de 2027.
O projeto ganhou força na legislatura da Califórnia após a morte do adolescente Adam Raine, que cometeu suicídio após longas conversas com o ChatGPT da OpenAI que envolviam discutir e planejar sua morte e automutilação. A legislação também responde a documentos internos vazados que supostamente mostraram que os chatbots da Meta eram autorizados a envolver-se em conversas “românticas” e “sensuais” com crianças.
Nas últimas semanas, legisladores e reguladores dos EUA intensificaram o escrutínio sobre as salvaguardas das plataformas de IA para proteger os menores. A Comissão Federal de Comércio está se preparando para investigar como os chatbots de IA impactam a saúde mental das crianças. O procurador-geral do Texas, Ken Paxton, lançou investigações sobre a Meta e a Character.AI, acusando-as de enganar crianças com alegações de saúde mental. Enquanto isso, tanto o senador Josh Hawley (R-MO) quanto o senador Ed Markey (D-MA) iniciaram investigações separadas sobre a Meta.
“Acho que o dano é potencialmente grande, o que significa que precisamos agir rapidamente”, disse Padilla ao TechCrunch. “Podemos implementar salvaguardas razoáveis para garantir que, particularmente os menores, saibam que não estão falando com um ser humano real, que essas plataformas conectem as pessoas aos recursos adequados quando as pessoas disserem que estão pensando em se machucar ou estão em sofrimento, [e] para garantir que não haja exposição inadequada a material impróprio.”
Padilla também enfatizou a importância de as empresas de IA compartilharem dados sobre o número de vezes que referem usuários a serviços de crise a cada ano, “para que tenhamos uma melhor compreensão da frequência desse problema, em vez de apenas tomarmos conhecimento dele quando alguém é prejudicado ou pior.”
O SB 243 anteriormente tinha requisitos mais rigorosos, mas muitos foram reduzidos por meio de emendas. Por exemplo, o projeto originalmente exigiria que os operadores impedissem que chatbots de IA usassem táticas de “recompensa variável” ou outras características que incentivassem o engajamento excessivo. Essas táticas, usadas por empresas de companheiros de IA como Replika e Character, oferecem mensagens especiais aos usuários, memórias, enredos ou a capacidade de desbloquear respostas raras ou novas personalidades, criando o que os críticos chamam de um potencial ciclo de recompensa viciante.
O projeto de lei atual também removeu disposições que exigiriam que os operadores rastreassem e relatassem com que frequência os chatbots iniciavam discussões sobre ideação ou ações suicidas com os usuários.
“Acho que isso atinge o equilíbrio certo de abordar os danos sem impor algo que seja impossível para as empresas cumprir, seja porque não é tecnicamente viável ou apenas uma quantidade enorme de papelada para nada”, disse Becker ao TechCrunch.
O SB 243 está a caminho de se tornar lei em um momento em que empresas do Vale do Silício estão investindo milhões de dólares em comitês de ação política (PACs) a favor da IA para apoiar candidatos nas próximas eleições de meio de mandato que favorecem uma abordagem leve à regulamentação da IA.
O projeto também surge enquanto a Califórnia avalia outro projeto de lei de segurança de IA, o SB 53, que exigiria requisitos abrangentes de relatórios de transparência. A OpenAI escreveu uma carta aberta ao governador Newsom, pedindo que ele abandonasse esse projeto em favor de estruturas federais e internacionais menos rigorosas. Grandes empresas de tecnologia, como Meta, Google e Amazon, também se opuseram ao SB 53. Em contraste, apenas a Anthropic disse que apoia o SB 53.
“Eu rejeito a premissa de que esta é uma situação de soma zero, que inovação e regulamentação são mutuamente exclusivas”, disse Padilla. “Não me diga que não podemos andar e mastigar goma ao mesmo tempo. Podemos apoiar a inovação e o desenvolvimento que achamos saudáveis e que têm benefícios – e há benefícios para essa tecnologia, claramente – e ao mesmo tempo, podemos fornecer salvaguardas razoáveis para as pessoas mais vulneráveis.”