Character.AI, uma plataforma líder para conversar e fazer jogos de interpretação de personagens gerados por IA, apresentou seu próximo modelo de geração de vídeo, AvatarFX, na terça-feira. Disponível em beta fechado, o modelo anima os personagens da plataforma em uma variedade de estilos e vozes, desde personagens humanoides até cartoons de animais em 2D.
AvatarFX se distingue de concorrentes como o Sora da OpenAI porque não é apenas um gerador de vídeo a partir de texto. Os usuários também podem gerar vídeos a partir de imagens pré-existentes, permitindo que eles animem fotos de pessoas reais.
É imediatamente evidente como esse tipo de tecnologia pode ser aproveitado para abusos – os usuários poderiam enviar fotos de celebridades ou pessoas que conhecem na vida real e criar vídeos realistas nos quais elas fazem ou dizem algo comprometedora. A tecnologia para criar deepfakes convincentes já existe, mas incorporá-la a produtos de consumo populares como o Character.AI apenas aumenta o potencial de seu uso irresponsável.
Entramos em contato com a Character.AI para comentar sobre o assunto.
A Character.AI já enfrenta problemas de segurança em sua plataforma. Pais processaram a empresa, alegando que seus chatbots incentivaram seus filhos a se auto-machucar, a se suicidar ou a matar seus pais.
Em um caso, um menino de quatorze anos morreu por suicídio após desenvolver um relacionamento obsessivo com um bot de IA no Character.AI baseado em um personagem de “Game of Thrones”. Pouco antes de sua morte, ele havia se aberto com a IA sobre pensamentos de suicídio, e a IA o encorajou a seguir em frente com o ato, de acordo com os registros do tribunal.
Esses são exemplos extremos, mas demonstram como as pessoas podem ser emocionalmente manipuladas por chatbots de IA através de mensagens de texto. Com a incorporação de vídeo, os relacionamentos que as pessoas têm com esses personagens podem parecer ainda mais realistas.
A Character.AI respondeu às alegações contra ela construindo controles parentais e salvaguardas adicionais, mas como qualquer aplicativo, os controles só são eficazes quando realmente utilizados. Muitas vezes, as crianças usam a tecnologia de maneiras que seus pais não conhecem.