O governador da Califórnia, Gavin Newsom, assinou um projeto de lei histórico na segunda-feira que regula chatbots de companheiros de IA, tornando-se o primeiro estado da nação a exigir que os operadores de chatbots de IA implementem protocolos de segurança para companheiros de IA.
A lei, SB 243, foi projetada para proteger crianças e usuários vulneráveis de alguns dos danos associados ao uso de chatbots de companheiros de IA. Ela responsabiliza as empresas — desde grandes laboratórios como Meta e OpenAI até startups de companheiros mais focadas, como Character AI e Replika — legalmente se seus chatbots não atenderem aos padrões da lei.
A SB 243 foi apresentada em janeiro pelos senadores estaduais Steve Padilla e Josh Becker e ganhou força após a morte do adolescente Adam Raine, que morreu por suicídio após conversas com o ChatGPT da OpenAI que envolviam discutir e planejar sua morte e autoagressão. A legislação também responde a documentos internos vazados que supostamente mostraram que os chatbots da Meta eram autorizados a participar de conversas “românticas” e “sensuais” com crianças. Mais recentemente, uma família do Colorado processou a startup Character AI após sua filha de 13 anos ter tirado a própria vida após uma série de conversas problemáticas e sexualizadas com os chatbots da empresa.
“A tecnologia emergente, como chatbots e redes sociais, pode inspirar, educar e conectar – mas sem verdadeiros limites, a tecnologia também pode explorar, enganar e colocar em perigo nossas crianças”, disse Newsom em um comunicado. “Vimos alguns exemplos verdadeiramente horríveis e trágicos de jovens prejudicados por tecnologia não regulamentada, e não ficaremos parados enquanto as empresas continuam sem limites e responsabilidade necessários. Podemos continuar a liderar em IA e tecnologia, mas devemos fazê-lo de forma responsável — protegendo nossas crianças a cada passo do caminho. A segurança de nossas crianças não está à venda.”
A SB 243 entrará em vigor em 1º de janeiro de 2026 e exige que as empresas implementem certos recursos, como verificação de idade, avisos sobre redes sociais e chatbots de companheiros, e penalidades mais severas — de até $250.000 por ação — para aqueles que lucram com deepfakes ilegais. As empresas também devem estabelecer protocolos para abordar suicídio e autoagressão e compartilhar esses protocolos, juntamente com estatísticas sobre com que frequência forneceram aos usuários notificações de centros de prevenção de crises, ao Departamento de Saúde Pública.
De acordo com a redação do projeto de lei, as plataformas também devem deixar claro que qualquer interação é gerada artificialmente, e os chatbots não devem se representar como profissionais de saúde. As empresas são obrigadas a oferecer lembretes de pausa para menores e impedir que eles visualizem imagens sexualmente explícitas geradas pelo chatbot.
Algumas empresas já começaram a implementar algumas salvaguardas voltadas para crianças. Por exemplo, a OpenAI recentemente começou a implementar controles parentais, proteções de conteúdo e um sistema de detecção de autoagressão para crianças que usam o ChatGPT. A Character AI afirmou que seu chatbot inclui um aviso de que todas as conversas são geradas por IA e ficcionalizadas.
A assinatura dessa lei por Newsom ocorre após o governador também ter aprovado a SB 53, outro projeto de lei pioneiro que estabelece novos requisitos de transparência para grandes empresas de IA. O projeto exige que grandes laboratórios de IA, como OpenAI, Anthropic, Meta e Google DeepMind, sejam transparentes sobre os protocolos de segurança. Também garante proteção a denunciantes para funcionários dessas empresas.
Outros estados, como Illinois, Nevada e Utah, aprovaram leis para restringir ou proibir completamente o uso de chatbots de IA como substitutos para cuidados de saúde mental licenciados.
A TechCrunch entrou em contato com Character AI, Meta, OpenAI e Replika para comentar.